KR101566557B1 - 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치 - Google Patents

예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치 Download PDF

Info

Publication number
KR101566557B1
KR101566557B1 KR1020097007930A KR20097007930A KR101566557B1 KR 101566557 B1 KR101566557 B1 KR 101566557B1 KR 1020097007930 A KR1020097007930 A KR 1020097007930A KR 20097007930 A KR20097007930 A KR 20097007930A KR 101566557 B1 KR101566557 B1 KR 101566557B1
Authority
KR
South Korea
Prior art keywords
prediction
data
input
filter
image region
Prior art date
Application number
KR1020097007930A
Other languages
English (en)
Other versions
KR20090079894A (ko
Inventor
샤이 하노이
오스카 디보라 에스코다
인 펭
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090079894A publication Critical patent/KR20090079894A/ko
Application granted granted Critical
Publication of KR101566557B1 publication Critical patent/KR101566557B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치가 제공된다. 장치는 픽쳐의 이미지 영역을 인코딩하는 인코더(300)를 포함한다. 상기 인코더(300)는 상기 이미지 영역에 대한 인트라 예측(intra prediction) 및 인터 예측(inter prediction) 중 적어도 하나를 리파인하는 예측 리파인먼트 필터(prediction refinement filter)(333)를 갖는다. 상기 예측 리파인먼트 필터(333)는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역에 대한 인터 예측을 리파인하고, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값들에 대응한다.
Figure R1020097007930
비디오 코딩, 예측 데이터 리파인먼트, 인트라 예측, 인터 예측

Description

예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치{METHOD AND APPARATUS FOR VIDEO CODING USING PREDICTION DATA REFINEMENT}
<관련 출원의 상호 참조>
본원은, 전체적으로 본원에 참고로 인용되는, 2006년 10월 18일에 출원된 미국 가출원 일련 번호 60/852,529의 우선권을 주장한다. 본원은 또한, 2007년 4월 13일에 출원되고, 역시 전체적으로 본원에 참고로 인용되는, 미국 가출원 일련 번호 60/911,536의 우선권을 주장한다.
본 원리들은 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 더 상세하게는, 예측 데이터 리파인먼트(refinement)를 이용한 비디오 코딩 방법 및 장치에 관한 것이다.
비디오 코딩 기법들은 효율적이기 위하여 예측 기반 코딩(prediction based coding)을 이용할 수 있다. 주어진 프레임의 데이터는, 블록 기준으로, 이미 디코딩된 데이터로부터 예측되는데, 여기서 이미 디코딩된 데이터는, 다른 참조 프레임들로부터의 것이거나(즉, "인터(inter)" 예측), 동일한 프레임의 이미 인코딩된 데이터로부터의 것일 수 있다(즉, "인트라(intra)" 예측). 최초 데이터로부터 예측이 차감된 후에 생성된 레시듀 오차(residual error)는 그 후 통상적으로 변환되 고, 양자화되고, 인코딩된다. 주어진 프레임의 주어진 공간 위치에서 사용되는 예측의 타입은 최종 코딩이 가능한 한 효율적이도록 적응적으로 선택된다. 이 선택은 레이트-왜곡 측정(rate-distortion measure)의 최적화에 의지한다. 실제로, 모든 가능한 예측 모드들 중에서 최저 비트레이트를 갖는 최저 왜곡에 이르는 예측자(predictor)가 통상적으로 선택된다.
일부 경우에, 레이트 왜곡에 관하여 최적의 예측자는 정확한 예측 데이터를 제공하지 않고, 그 후, 코딩되어야 하는 많은 양의 레시듀 오차를 생성할 수 있다. 부정확성의 원인은 예측자 선택을 비트레이트 비용과 왜곡 사이의 절충에 이르게 하는 레이트 제약 때문일 수 있고 또는 단순히 이용가능한 예측 모델들이 적절하지 않은 때문일 수 있다. ISO/IEC(International Orgination for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommuincation Union, Telecommunication Sector) H.264 권고(이하 "MPEG-4 AVC 표준")는 주어진 블록 내의 데이터를 그의 디코딩된 이웃 블록들로부터의 정보를 이용하여 예측하기 위해 저역 통과 연산자(low-pass operator)가 사용되는 예이다. 그러나, 그러한 예측자들은 고주파수 및 텍스처된 데이터를 다룰 수 없다.
예를 들면, MPEG-4 AVC 표준을 준수하는 것들과 같은 일부 최신 기술의 비디오 인코더들/디코더들에서는, 코딩/디코딩 프로세스 내에서 소위 "디블록킹 필터(deblocking filter)"의 사용에 의한 예측 리파인먼트(prediction refinement)가 이용된다. 레시듀 오차의 변환 기반 코딩에 의해 도입된 코딩 부정확성은 코딩 루프에서 마지막 단계로서 재구성된 프레임들에 작용하는 필터에 의하여 감소될 수 있다. MPEG-4 AVC 표준 디블록킹 필터의 한계를 극복하기 위하여 다른 인루프(in-loop) 필터들이 제안되었다. 통상적으로, 이들 필터들은 재구성된 픽쳐들에서 적용된다.
재구성 후의 인루프 필터링은 오차 레시듀(residue) 코딩 시에 양자화 단계 중에 분실된 정보의 부분의 복구를 허용한다. 그러나, 그것은 재구성된 이미지들에서 적용되므로, 현 픽쳐에서 인코딩될 정보의 양을 감소시키는 데 도움이 될 것으로 기대되지 않는다. 인코딩될 정보의 양을 감소시키기 위하여, 예측 신호가 개선될 수 있다. 전통적으로, 이것은 점점 더 정교한 예측 모드들을 포함시키는 것에 의해 행해졌다.
분실 데이터의 추정을 위한 알고리즘들 - 그 중 일부는 "인페인팅(inpainting)" 알고리즘이라 불릴 수 있음 - 은, 예를 들면, 확산 원리 및/또는 텍스처 성장(texture growing), 또는 비선형 희소 분해 노이즈 제거(nonlinear sparse decompositions de-noising)에 기초할 수 있다. 이들 알고리즘들은 알려진 이웃 데이터에 기초하여 분실 데이터의 값들을 추정하려고 할 수 있다. 실제로, 픽쳐 내에 분실 블록을 갖고, 어떤 이웃 블록에서 이용가능한 데이터로부터 그 분실 블록을 추정함으로써 그 분실 블록을 복구하는 것을 상상할 수 있다. 이들 알고리즘들은 일반적으로 데이터 분실에 관한 지식이 없다고 가정한다. 즉, 그것들은 분실 데이터를 추정하기 위해 이웃의 이용가능한 데이터에 의지할 뿐이다.
도 1을 보면, MPEG-4 AVC 표준에 따라서 비디오 인코딩을 수행할 수 있는 비디오 인코더가 일반적으로 참조 번호 100에 의해 지시되어 있다.
비디오 인코더(100)는 결합기(185)의 비반전 입력과 신호 통신하는 출력을 갖는 프레임 오더링 버퍼(110)를 포함한다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1 입력과 신호 통신하여 접속된다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(145)의 제1 입력 및 역변환기 및 역양자화기(150)의 제1 입력과 신호 통신하여 접속된다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(190)의 출력은 출력 버퍼(135)의 제1 입력과 신호 통신하여 접속된다.
인코더 컨트롤러(105)의 제1 출력은 프레임 오더링 버퍼(110)의 제2 입력, 역변환기 및 역양자화기(150)의 제2 입력, 픽쳐-타입 판정 모듈(115)의 입력, 매크로블록-타입(MB-타입) 판정 모듈(120)의 입력, 인트라 예측 모듈(160)의 제2 입력, 디블록킹 필터(165)의 제2 입력, 움직임 보상기(170)의 제1 입력, 움직임 추정기(175)의 제1 입력, 및 참조 픽쳐 버퍼(180)의 제2 입력과 신호 통신하여 접속된다.
인코더 컨트롤러(105)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(130)의 제1 입력, 변환기 및 양자화기(125)의 제2 입력, 엔트로피 코더(145)의 제2 입력, 출력 버퍼(135)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 입력과 신호 통신하여 접속된다.
픽쳐-타입 판정 모듈(115)의 제1 출력은 프레임 오더링 버퍼(110)의 제3 입력과 신호 통신하여 접속된다. 픽쳐-타입 판정 모듈(115)의 제2 출력은 매크로블록-타입 판정 모듈(120)의 제2 입력과 신호 통신하여 접속된다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 출력은 결합기(190)의 제3 비반전 입력과 신호 통신하여 접속된다.
역변환기 및 역양자화기(150)의 출력은 결합기(119)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1 입력 및 디블록킹 필터(165)의 제1 입력과 신호 통신하여 접속된다. 디블록킹 필터(165)의 출력은 참조 픽쳐 버퍼(180)의 제1 입력과 신호 통신하여 접속된다. 참조 픽쳐 버퍼(180)의 출력은 움직임 추정기(175)의 제2 입력과 신호 통신하여 접속된다. 움직임 추정기(175)의 제1 출력은 움직임 보상기(170)의 제2 입력과 신호 통신하여 접속된다. 참조 픽쳐 버퍼(180)의 출력은 움직임 보상기(170)의 제3 입력과 신호 통신하여 접속된다. 움직임 추정기(175)의 제2 출력은 엔트로피 코더(145)의 제3 입력과 신호 통신하여 접속된다.
움직임 보상기(170)의 출력은 스위치(197)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2 입력과 신호 통신하여 접속된다. 매크로블록-타입 판정 모듈(120)의 출력은 스위치(197)의 제3 입력과 신호 통신하여 접속된다. 스위치(197)의 제3 입력은 스위치의 "데이터" 입력이 (제어 입력, 즉, 제3 입력과 비교하여) 움직임 보상기(170)에 의해 제공될 것인지 인트라 예측 모듈(160)에 의해 제공될 것인지 여부를 판정한다. 스위치(197)의 출 력은 결합기(119)의 제2 비반전 입력 및 결합기(185)의 반전 입력과 신호 통신하여 접속된다.
프레임 오더링 버퍼(110) 및 인코더 컨트롤러(105)의 입력들은 입력 픽쳐(101)를 수신하기 위한, 인코더(100)의 입력으로서 이용가능하다. 또한, SEI(Supplemental Enhancement Information) 삽입기(130)의 입력은 메타데이터를 수신하기 위한, 인코더(100)의 입력으로서 이용가능하다. 출력 버퍼(135)의 출력은 비트스트림을 출력하기 위한, 인코더(100)의 출력으로서 이용가능하다.
도 2를 보면, MPEG-4 AVC에 따라서 비디오 디코딩을 수행할 수 있는 비디오 디코더가 일반적으로 참조 번호 200에 의해 지시되어 있다.
비디오 디코더(200)는 엔트로피 디코더(245)의 제1 입력과 신호 통신하여 접속된 출력을 갖는 입력 버퍼(210)를 포함한다. 엔트로피 디코더(245)의 제1 출력은 역변환기 및 역양자화기(250)의 제1 입력과 신호 통신하여 접속된다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2 비반전 입력과 신호 통신하여 접속된다. 결합기(225)의 출력은 디블록킹 필터(265)의 제2 입력 및 인트라 예측 모듈(260)의 제1 입력과 신호 통신하여 접속된다. 디블록킹 필터(265)의 제2 출력은 참조 픽쳐 버퍼(280)의 제1 입력과 신호 통신하여 접속된다. 참조 픽쳐 버퍼(280)의 출력은 움직임 보상기(270)의 제2 입력과 신호 통신하여 접속된다.
엔트로피 디코더(245)의 제2 출력은 움직임 보상기(270)의 제3 입력 및 디블록킹 필터(265)의 제1 입력과 신호 통신하여 접속된다. 엔트로피 디코더(245)의 제3 출력은 디코더 컨트롤러(205)의 입력과 신호 통신하여 접속된다. 디코더 컨트 롤러(205)의 제1 출력은 엔트로피 디코더(245)의 제2 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제2 출력은 역변환기 및 역양자화기(250)의 제2 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제3 출력은 디블록킹 필터(265)의 제3 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제4 출력은 인트라 예측 모듈(260)의 제2 입력, 움직임 보상기(270)의 제1 입력, 및 참조 픽쳐 버퍼(280)의 제2 입력과 신호 통신하여 접속된다.
움직임 보상기(270)의 출력은 스위치(297)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력과 신호 통신하여 접속된다. 스위치(297)의 출력은 결합기(225)의 제1 비반전 입력과 신호 통신하여 접속된다.
입력 버퍼(210)의 입력은 입력 비트스트림을 수신하기 위한, 디코더(200)의 입력으로서 이용가능하다. 디블록킹 필터(265)의 제1 출력은 출력 픽쳐를 출력하기 위한, 디코더(200)의 출력으로서 이용가능하다.
<발명의 개요>
선행 기술의 이들 및 다른 결점들 및 불리점들은 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치에 관한 본 원리들에 의해 다루어진다.
본 원리들의 양태에 따르면, 장치가 제공된다. 이 장치는 픽쳐의 이미지 영역을 인코딩하는 인코더를 포함한다. 상기 인코더는 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인(refine)하는 예측 리파인먼트 필터를 갖는다. 상기 예측 리파인먼트 필터는 이전에 디코딩된 데이터 및 이전에 인 코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역에 대한 인터 예측을 리파인하고, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값들에 대응한다.
본 원리들의 다른 양태에 따르면, 방법이 제공된다. 이 방법은 픽쳐의 이미지 영역을 그 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터를 이용하여 인코딩하는 단계를 포함한다. 상기 예측 리파인먼트 필터는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역에 대한 인터 예측을 리파인하고, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값들에 대응한다.
본 원리들의 또 다른 양태에 따르면, 장치가 제공된다. 이 장치는 픽쳐의 이미지 영역을 디코딩하는 디코더를 포함한다. 상기 디코더는 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터를 갖는다. 상기 예측 리파인먼트 필터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값들에 대응하는 이전에 디코딩된 데이터를 이용하여 상기 이미지 영역에 대한 인터 예측을 리파인한다.
본 원리들의 또 다른 양태에 따르면, 방법이 제공된다. 이 방법은 픽쳐의 이미지 영역을 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터를 이용하여 디코딩하는 단계를 포함한다. 상기 예측 리파인먼트 필터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값 들에 대응하는 이전에 디코딩된 데이터를 이용하여 상기 이미지 영역에 대한 인터 예측을 리파인한다.
본 원리들의 이들 및 다른 양태들, 특징들 및 이점들은 첨부 도면들과 함께 읽혀질, 예시적인 실시예들에 관한 다음의 상세한 설명으로부터 명백해질 것이다.
본 원리들은 다음의 예시적인 도면들에 따라서 더 잘 이해될 수 있다.
도 1은 MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더에 대한 블록도를 도시한다.
도 2는 MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더에 대한 블록도를 도시한다.
도 3은 본 원리들의 실시예에 따른, 본 원리들과 함께 이용하기 위해 수정된 및/또는 확장된, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더에 대한 블록도를 도시한다.
도 4는 본 원리들의 실시예에 따른, 본 원리들과 함께 이용하기 위해 수정된 및/또는 확장된, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더에 대한 블록도를 도시한다.
도 5a는 본 원리들의 실시예에 따른, 예측 리파인먼트를 위한 참조로서 이용되는 관련 캐주얼 이웃(casual neighborhood) 및 코딩되고 있는 현 인트라 4×4 블록에 대한 도면을 도시한다.
도 5b는 본 원리들의 실시예에 따른, 예측 리파인먼트를 위한 참조로서 이용 되는 관련 논캐주얼 이웃(non-casual neighborhood) 및 코딩되고 있는 현 인트라 4×4 블록에 대한 도면을 도시한다.
도 6은 본 원리들의 실시예에 따른, 예측 리파인먼트를 이용하여 이미지 데이터를 인코딩하는 방법에 대한 흐름도를 도시한다.
도 7은 본 원리들의 실시예에 따른, 예측 리파인먼트를 이용하여 이미지 데이터를 디코딩하는 방법에 대한 흐름도를 도시한다.
도 8은 본 원리들의 실시예에 따른, 리파인먼트를 갖는 예측을 제공하는 예시적인 장치에 대한 블록도를 도시한다.
도 9는 본 원리들의 실시예에 따른, 리파인된 예측을 생성하는 예시적인 방법에에 대한 흐름도를 도시한다.
도 10은 본 원리들의 실시예에 따른, 리파인먼트 중인 매크로블록 내의 동심 픽셀 층들의 예시적인 세트에 대한 도면을 도시한다.
본 원리들은 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치에 관한 것이다.
본 설명은 본 원리들을 설명한다. 따라서 숙련된 당업자들은, 비록 본 명세서에서 명시적으로 설명 또는 도시되어 있지는 않지만, 본 원리들을 구체화하고 그의 정신 및 범위 내에 포함되는 다양한 장치들을 고안할 수 있을 것임을 알 것이다.
본 명세서에서 상술된 모든 예들 및 조건부 언어는 본 원리들 및 본 발명자(들)가 본 기술을 증진하는 데에 기여한 개념들을 독자가 이해하는 데에 도움이 되도록 교육학적인 목적으로 의도되어 있고, 그러한 구체적으로 상술된 예들 및 조건들에 제한되지 않는 것으로서 해석되어야 한다.
또한, 본 원리들의 원리들, 양태들, 및 실시예들뿐만 아니라, 그의 특정 예들을 상술하는 본 명세서의 모든 진술들은 그것의 구조 및 기능 둘 다의 등가물들을 포함하도록 의도되어 있다. 또한, 그러한 등가물들은 현재 알려진 등가물들뿐만 아니라 장래에 개발되는 등가물들, 즉, 구조에 관계없이 동일한 기능을 수행하는 개발되는 임의의 엘리먼트들을 포함하는 것을 의도한다.
따라서, 예를 들면, 숙련된 당업자들은, 본 명세서에서 제시된 블록도들은 본 원리들을 구체화하는 예시적인 회로의 개념도들을 나타낸다는 것을 알 것이다. 유사하게, 임의의 플로차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 나타내어지고 그래서 컴퓨터 또는 프로세서(그러한 컴퓨터 또는 프로세서가 명시적으로 도시되었든 아니든)에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다는 것을 알 것이다.
도면들에서 도시된 다양한 엘리먼트들의 기능들은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통하여 제공될 수 있다. 프로세서에 의해 제공될 때, 그 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 그 중 일부가 공유될 수 있는 복수의 개별 프로세서들에 의해 제공될 수 있다. 또한, "프로세서" 또는 "컨트롤러"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지시하는 것으로 해석되어서는 안 되고, 암시적으로, 제한 없이, 디지털 신호 프로세서("DSP"), 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장 장치를 포함할 수 있다.
종래의 및/또는 주문형의, 다른 하드웨어가 포함될 수도 있다. 유사하게, 도면들에서 도시된 임의의 스위치들은 단지 개념에 불과하다. 그들의 기능은 프로그램 로직의 동작을 통하여, 전용 로직을 통하여, 프로그램 제어 및 전용 로직의 상호작용을 통하여, 또는 수동으로도 수행될 수 있고, 그 특정 기법은 문맥으로부터 보다 구체적으로 이해되는 것으로서 구현자에 의해 선택가능하다.
본 명세서의 청구항들에서, 지정된 기능을 수행하는 수단으로서 표현된 임의의 엘리먼트는 그 기능을 수행하는 임의의 방법을 포함하도록 의도되어 있고, 그 방법은 예를 들면, a) 그 기능을 수행하는 회로 엘리먼트들의 조합 또는 b) 임의의 형태의 소프트웨어를 포함하고, 따라서, 그 기능을 수행하도록 그 소프트웨어를 실행하는 적절한 회로와 조합된, 펌웨어, 마이크로코드 등을 포함한다. 그러한 청구항들에 의해 정의된 본 원리들은 다양한 상술된 수단들에 의해 제공되는 기능들은 그 청구항들이 요구하는 방식으로 조합되고 불러모아진다는 사실에 있다. 따라서 그 기능들을 제공할 수 있는 수단은 어떤 것이라도 본 명세서에서 제시된 것들과 동등한 것으로 간주된다.
본 명세서에서 본 원리들의 "일 실시예" 또는 "실시예"라고 하는 것은 그 실시예와 관련하여 설명된 특정 특징, 구조, 특성 등이 본 원리들의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서의 전체에 걸쳐서 여러 곳에서 나타나는 "일 실시예에서" 또는 "실시예에서"라는 문구의 출현들은 반드시 모두 동일한 실시예를 지시하고 있는 것은 아니다.
본 명세서에서 사용될 때, "고레벨 신택스(high level syntax)"는 매크로블록 층 위에 계층적으로 존재하는 비트스트림 내에 존재하는 신택스를 지시한다. 예를 들면, 고레벨 신택스는, 본 명세서에서 사용될 때, 슬라이스 헤더(slice header) 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 설정 레벨, 시퀀스 파라미터 설정 레벨 및 NAL 유닛 헤더 레벨에서의 신택스를 지시할 수 있지만, 이에 제한되지는 않는다.
"이미지 데이터"라는 문구는 정지 이미지 및 움직이는 이미지들(즉, 움직임을 포함하는 이미지들의 시퀀스) 중 임의의 것에 대응하는 데이터를 지시하도록 의도되어 있다.
"인페인팅(inpainting)"이라는 용어는, 이웃의 이용가능한 데이터를 이용하여, 이미지에서 부분적으로 또는 완전히 분실한 데이터 및/또는 데이터의 성분들을 추정, 보간(interpolate) 및/또는 예측하는 기법을 지시한다.
"희소 기반 인페인팅(sparsity based inpainting)"이라는 문구는 이미지에서 부분적으로 또는 완전히 분실한 데이터 및/또는 데이터의 성분들을 추정, 보간 및/또는 예측하기 위해 희소 기반 원리들이 이용되는 "인페인팅" 기법의 특정 실시예를 지시한다.
"캐주얼 데이터 이웃(casual data neighborhood)" 및 "논캐주얼 데이터 이웃(non-casual data neighborhood)"이라는 문구들은 각각 규칙적인 스캐닝 순서(예를 들면, MPEG-4 AVC 표준에서의 래스터-스캔 및/또는 지그-재그 스캔)에 따른 픽쳐 내의 이전에 처리된 데이터를 포함하는 데이터 이웃, 및 규칙적인 스캐닝 순서(예를 들면, H.264/AVC에서의 래스터-스캔 및/또는 지그-재그 스캔)에 따른 현 데이터에 관하여 이후의 위치에 있는 영역들로부터 진행하는 적어도 일부 데이터를 포함하는 데이터 이웃을 지시한다. 캐주얼 스캐닝 순서의 예는 도 5a에 관하여 제공된다. 논캐주얼 스캐닝 순서의 예는 도 5b에 관하여 제공된다.
예를 들면, "A 및/또는 B"의 경우에, "및/또는"이라는 용어의 사용은 첫 번째 열거된 옵션(A)의 선택, 두 번째 열거된 옵션(B)의 선택, 또는 양쪽 옵션들(A 및 B)의 선택을 포함하도록 의도되어 있음을 알아야 한다. 또 다른 예로서, "A, B, 및/또는 C"의 경우에, 그러한 표현은 첫 번째 열거된 옵션(A)의 선택, 두 번째 열거된 옵션(B)의 선택, 세 번째 열거된 옵션(C)의 선택, 첫 번째와 두 번째 열거된 옵션들(A 및 B)의 선택, 첫 번째와 세 번째 열거된 옵션들(A 및 C)의 선택, 두 번째와 세 번째 열거된 옵션들(B 및 C)의 선택, 또는 모든 3개의 옵션들(A 및 B 및 C)의 선택을 포함하도록 의도되어 있다. 이것은, 이 기술과 관련 기술의 숙련된 당업자라면 쉽게 알 수 있는 바와 같이, 열거된 만큼의 수의 항목들에 대하여 확장될 수 있다.
또한, 본 원리들의 하나 이상의 실시예들은 여기서는 MPEG-4 AVC 표준에 관하여 설명되어 있지만, 본 원리들은 오로지 이 표준에 제한되지 않으며, 따라서, 본 원리들의 정신을 유지하면서, MPEG-4 AVC 표준의 멀티-뷰(및 논-멀티-뷰) 확장들과 같은 확장들을 포함한, 그의 다른 비디오 코딩 표준들, 권고들, 및 확장들에 관하여 이용될 수도 있다는 것을 알아야 한다.
또한, 본 원리들은 예측 비디오 코딩, 멀티-뷰 비디오 코딩, 스케일가능한 비디오 코딩 등을 포함하지만, 그에 제한되지 않는 예측을 이용하는 임의의 비디오 코딩 전략에 관하여 이용될 수 있다는 것을 알아야 한다.
도 3을 보면, 본 원리들과 함께 이용하기 위해 수정된 및/또는 확장된, MPEG-4 AVC 표준에 따라 비디오 인코딩을 수행할 수 있는 비디오 인코더가 일반적으로 참조 번호 300에 의해 지시되어 있다.
비디오 인코더(300)는 결합기(385)의 비반전 입력과 신호 통신하는 출력을 갖는 프레임 오더링 버퍼(310)를 포함한다. 결합기(385)의 출력은 변환기 및 양자화기(325)의 제1 입력과 신호 통신하여 접속된다. 변환기 및 양자화기(325)의 출력은 엔트로피 코더(345)의 제1 입력 및 역변환기 및 역양자화기(350)의 제1 입력과 신호 통신하여 접속된다. 엔트로피 코더(345)의 출력은 결합기(390)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(390)의 출력은 출력 버퍼(335)의 제1 입력과 신호 통신하여 접속된다.
인코더 컨트롤러(305)의 제1 출력은 프레임 오더링 버퍼(310)의 제2 입력, 역변환기 및 역양자화기(350)의 제2 입력, 픽쳐-타입 판정 모듈(315)의 입력, 매크로블록-타입(MB-타입) 판정 모듈(320)의 입력, 인트라 예측 모듈(360)의 제2 입력, 디블록킹 필터(365)의 제2 입력, 움직임 보상기(370)의 제1 입력, 움직임 추정기(375)의 제1 입력, 참조 픽쳐 버퍼(380)의 제2 입력, 및 예측 리파인먼트 필터(333)의 제1 입력과 신호 통신하여 접속된다.
인코더 컨트롤러(305)의 제2 출력은 SEI(Supplemental Enhancement Information) 삽입기(330)의 제1 입력, 변환기 및 양자화기(325)의 제2 입력, 엔트로피 코더(345)의 제2 입력, 출력 버퍼(335)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 입력과 신호 통신하여 접속된다.
픽쳐-타입 판정 모듈(315)의 제1 출력은 프레임 오더링 버퍼(310)의 제3 입력과 신호 통신하여 접속된다. 픽쳐-타입 판정 모듈(315)의 제2 출력은 매크로블록-타입 판정 모듈(320)의 제2 입력과 신호 통신하여 접속된다.
SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(340)의 출력은 결합기(390)의 제3 비반전 입력과 신호 통신하여 접속된다.
역변환기 및 역양자화기(350)의 출력은 결합기(319)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(319)의 출력은 인트라 예측 모듈(360)의 제1 입력, 디블록킹 필터(365)의 제1 입력, 및 예측 리파인먼트 필터(333)의 제2 입력과 신호 통신하여 접속된다. 디블록킹 필터(365)의 출력은 참조 픽쳐 버퍼(380)의 제1 입력과 신호 통신하여 접속된다. 참조 픽쳐 버퍼(380)의 출력은 움직임 추정기(375)의 제2 입력 및 움직임 보상기(370)의 제3 입력과 신호 통신하여 접속된다. 움직임 추정기(375)의 제1 출력은 움직임 보상기(370)의 제2 입력과 신호 통신하여 접속된다. 움직임 추정기(375)의 제2 출력은 엔트로피 코더(345)의 제3 입력과 신호 통신하여 접속된다.
움직임 보상기(370)의 출력은 스위치(397)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(360)의 출력은 스위치(397)의 제2 입력과 신호 통신하여 접속된다. 매크로블록-타입 판정 모듈(320)의 출력은 스위치(397)의 제3 입력과 신호 통신하여 접속된다. 스위치(397)의 제3 입력은 스위치의 "데이터" 입력이 (제어 입력, 즉, 제3 입력과 비교하여) 움직임 보상기(370)에 의해 제공될 것인지 인트라 예측 모듈(360)에 의해 제공될 것인지 여부를 판정한다. 스위치(397)의 출력은 예측 리파인먼트 필터(333)의 제3 입력과 신호 통신하여 접속된다. 예측 리파인먼트 필터(333)의 제1 출력은 결합기(319)의 제2 비반전 입력과 신호 통신하여 접속된다. 예측 리파인먼트 필터(333)의 제2 출력은 결합기(385)의 반전 입력과 신호 통신하여 접속된다.
프레임 오더링 버퍼(310) 및 인코더 컨트롤러(305)의 입력들은 입력 픽쳐(301)를 수신하기 위한, 인코더(300)의 입력으로서 이용가능하다. 또한, SEI(Supplemental Enhancement Information) 삽입기(330)의 입력은 메타데이터를 수신하기 위한, 인코더(300)의 입력으로서 이용가능하다. 출력 버퍼(335)의 출력은 비트스트림을 출력하기 위한, 인코더(300)의 출력으로서 이용가능하다.
도 4를 보면, 본 원리들과 함께 이용하기 위해 수정된 및/또는 확장된, MPEG-4 AVC 표준에 따라 비디오 디코딩을 수행할 수 있는 비디오 디코더가 일반적으로 참조 번호 400에 의해 지시되어 있다.
비디오 디코더(400)는 엔트로피 디코더(445)의 제1 입력과 신호 통신하여 접속된 출력을 갖는 입력 버퍼(410)를 포함한다. 엔트로피 디코더(445)의 제1 출력은 역변환기 및 역양자화기(450)의 제1 입력과 신호 통신하여 접속된다. 역변환기 및 역양자화기(450)의 출력은 결합기(425)의 제2 비반전 입력과 신호 통신하여 접속된다. 결합기(425)의 출력은 디블록킹 필터(465)의 제2 입력, 인트라 예측 모듈(460)의 제1 입력, 및 예측 리파인먼트 필터(433)의 제3 입력과 신호 통신하여 접속된다. 디블록킹 필터(465)의 제2 출력은 참조 픽쳐 버퍼(480)의 제1 입력과 신호 통신하여 접속된다. 참조 픽쳐 버퍼(480)의 출력은 움직임 보상기(470)의 제2 입력과 신호 통신하여 접속된다.
엔트로피 디코더(445)의 제2 출력은 움직임 보상기(470)의 제3 입력, 디블록킹 필터(465)의 제1 입력, 및 예측 리파인먼트 필터(433)의 제4 입력과 신호 통신하여 접속된다. 엔트로피 디코더(445)의 제3 출력은 디코더 컨트롤러(405)의 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(405)의 제1 출력은 엔트로피 디코더(445)의 제2 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(405)의 제2 출력은 역변환기 및 역양자화기(450)의 제2 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(405)의 제3 출력은 디블록킹 필터(465)의 제3 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(405)의 제4 출력은 인트라 예측 모듈(460)의 제2 입력, 움직임 보상기(470)의 제1 입력, 참조 픽쳐 버퍼(480)의 제2 입력, 및 예측 리파인먼트 필터(433)의 제1 입력과 신호 통신하여 접속된다.
움직임 보상기(470)의 출력은 스위치(497)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(460)의 출력은 스위치(497)의 제2 입력과 신호 통신하여 접속된다. 스위치(497)의 출력은 예측 리파인먼트 필터(433)의 제2 입력과 신호 통신하여 접속된다. 예측 리파인먼트 필터(433)의 출력은 결합기(425)의 제1 비반전 입력과 신호 통신하여 접속된다.
입력 버퍼(410)의 입력은 입력 비트스트림을 수신하기 위한, 디코더(400)의 입력으로서 이용가능하다. 디블록킹 필터(465)의 제1 출력은 출력 픽쳐를 출력하기 위한, 디코더(400)의 출력으로서 이용가능하다.
전술한 바와 같이, 본 원리들은 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치에 관한 것이다.
일 실시예에서는, 예측 비디오 코딩 및/또는 디코딩을 위해 적응 필터(adaptive filter)가 사용된다. 이 적응 필터는 예측 데이터를 강화하고(enhance) 및/또는 다른 방법으로 리파인하기 위해 인코딩 및/또는 디코딩 루프들에서 구현될 수 있다. 일 실시예에서는, 예측 단계 후에 및 오차 레시듀(residue)의 생성 전에 적응 필터를 적용한다.
일 실시예에서는, 예측 단계에서 생성된 데이터를 필터링하기 위하여 희소 기반 인페인팅 기법들이 이용될 수 있다. 가능한 예측 모드들 중 임의의 것이 (예를 들면, 미리 정의된 기준마다) 충분히 정확한 예측을 생성하는 경우에는, 본 원리들의 실시예에 따라서 이미 디코딩된 데이터를 이용하고 선택된 예측에 적용되는 필터는 보다 작은 레시듀 오차가 생성되도록 예측 데이터를 리파인할 수 있고, 따라서 잠재적으로 레시듀 코딩을 위해 필요한 정보의 양을 감소시키고 및/또는 예측 데이터의 충실도를 증가시킬 수 있다.
비디오 코딩의 종래 기술에서는, 비디오 인코더/디코더 패러다임의 모드 선택 및 예측 단계 동안에 예측된 데이터는 예측 레시듀의 생성에 바로 이용된다. 또한, 분실 이미지 영역들의 복구(예를 들면, 인페인팅)에서의 종래 기술은 그러한 목적을 위해 특정 노이즈 제거(de-noising) 기법들이 이용될 수 있다는 것을 제안한다. 대신에, 본 원리들의 실시예에서는, 부분적으로 분실된 데이터의 복구를 위한 노이즈 제거 기반 기법일 수 있는 예측 레시듀의 생성에 앞서, 예측 데이터를 더 리파인하기 위하여 그 예측 데이터에 대해 필터를 사용할 것을 제안한다. 일 실시예에서는, 이 제안된 접근법은 예측 모드로부터 획득된 예측을 강화/리파인하기 위해 사용될 수 있다. 일 실시예에서는, 비디오 코딩 알고리즘들에 대하여 예측 후에(및 레시듀 오차가 생성되기 전에) 리파인 필터(refining filter)의 사용이 제안된다.
본 원리들은 (예를 들면, 이웃 블록, 프레임, 및/또는 픽쳐로부터의) 수신기에서 이용가능한 디코팅된 데이터가 레시듀 오차가 생성되기 전에 예측 데이터를 리파인하는 데 사용될 수 있다는 사실을 이용한다.
인트라 예측 리파인먼트( INTRA PREDICTION REFINEMENT )
이제 인트라 예측에 관한 실시예(이하에서는 "인트라 예측 실시예")를 설명한다. 인트라 예측 실시예는 여기에서 예시를 위하여 설명되어 있다는 것을 알아야 하며, 따라서, 여기서 제공된 본 원리들의 가르침이 주어지면, 이 기술과 관련 기술의 숙련된 당업자는, 본 원리들의 정신을 유지하면서, 인트라 예측에 관하여 본 원리들의 다양한 수정 및 변형을 예상할 것임을 알아야 한다.
인트라 예측을 위한 제안된 접근법은 기존 인트라 코딩 모드들의 예측 정확도를 개선하는 인루프 인트라-코딩 리파인먼트(in-loop intra-coding refinement) 프로세스를 수반한다. 전형적으로 본질적으로 저역 통과 동작들(low-pass operations)인, 표준 인트라-코딩 방법들은 일반적으로 고주파 콘텐츠를 효과적으로 예측할 수 없다. 일 실시예에서는, 주위의 블록들 상의 샘플들을 고려하여, 표준 인트라 예측을 통하여 얻어진 기존 예측을 리파인한다. 예를 들면, MPEG-4 AVC 표준에서 사용되는 것과 같은 전통적인 인트라-예측에서는, 현재의 블록에서의 픽셀 예측을 계산하기 위해 이웃 블록들로부터의 픽셀들의 제1 층만이 이용된다. 이것은 이웃 블록들 내의 신호의 구조 또는 텍스처에 관한 어떤 정보도 예측을 위해 이용가능하지 않다는 것을 암시한다. 그러므로, 예를 들면, 그러한 이웃 정보 또는 가능한 휘도 그래디언트(luminance gradients)로부터 현재의 블록의 가능한 텍스처를 예측할 수 없다. 일 실시예에서는, MPEG-4 AVC 표준에 대응하는 예측에서 수반되는 것들보다 더 많은 수의 픽셀들이 주위(즉, 이웃) 블록들로부터 이용된다. 이것은, 예를 들면, 텍스처에 관련된 정보를 고려할 수 있기 때문에, 현재의 블록에서의 예측의 개선을 가능하게 한다. 그 결과, 제안된 인트라 예측 리파인먼트 절차는 현재의 블록에서의 고주파 또는 구조화된 콘텐츠의 예측을 강화할 수 있다.
새로운 인트라-예측 리파인먼트 방법은 예측 모드 선택 프로세스와 레시듀 오차의 계산 사이에 리파인먼트 단계를 삽입한다. 인트라-예측되는 매크로블록에 대하여, 본 원리들의 실시예는 다음의 단계들을 수반할 수 있다.
(1) 이용가능한 모든 인트라-예측 모드들(예를 들면, 4×4, 8×8 및 16×16)을 이용하여 인트라-예측을 수행하고 최적의 인트라-예측 모드를 선택한다(예를 들면, 레이트 왜곡의 점에서).
(2) 상기 예측 결과를 이용하여 예측 리파인먼트 알고리즘을 초기화한다.
(3) 상기 예측 리파인먼트 알고리즘을 적용한다.
(4) 상기 리파인먼트 프로세스가 상기 현재의 블록의 예측을 개선하는지(예를 들면, 레이트 왜곡의 점에서)를 판정한다.
(5) 만일 개선이 있다면, 해당 모드 및 블록에 대하여 MPEG-4 AVC 표준으로부터의 "전통적인" 인트라 예측 대신에 상기 리파인먼트 알고리즘의 출력에서 획득된 예측이 이용된다.
상기 인트라-예측 리파인먼트 프로세스에 관한 필요한 정보는, 예를 들면, 서브-매크로블록, 매크로블록 또는 더 높은 신택스 레벨에서 포함(embed)될 수 있는 신택스를 이용하여 디코더에 송신될 수 있다.
위에 설명된 방법의 향상으로서, 상기 리파인먼트를 이웃 디코딩된 데이터의 이용가능성에 적응시킨다. 예를 들면, MPEG-4 AVC 표준에 관한 실시예에서는, 디코딩된 이웃들의 캐주얼 특징(casual nature)이 고려된다. 4×4 예측 모드의 경우에는, 예를 들면, 현재의 예측을 리파인하기 위해 이용되는 이웃은 현재의 블록을 둘러싸는 캐주얼 이웃이다(도 5b 참조).
도 5b를 참조하면, 코딩되고 있는 현재의 인트라 4×4 블록 및 인페인팅을 위한 관련 이웃에 대한 도면이 참조 번호 500에 의해 일반적으로 지시되어 있다. 특히, 현재의 4×4 블록은 참조 번호 510에 의해 지시되어 있고, 관련 이웃 블록들은 참조 번호 520에 의해 지시되어 있고, 비관련 이웃 블록들은 참조 번호 530에 의해 지시되어 있다.
예측 리파인먼트 접근법은 다음을 포함하는 것으로 설명될 수 있다.
예측 리파인먼트 접근법은 시작 임계치 T0를 결정하고 및/또는 도출하는 것을 수반한다. 이것은 주위의 디코딩된 데이터 및/또는 픽셀 이웃의 일부 통계에 기초하여 및/또는 코딩 프로세스 동안에 사용되는 코딩 품질 또는 양자화 스텝에 기초하여 암암리에 도출될 수 있다. 또한, 시작 임계치는 신택스 레벨을 이용하여 디코더에 명백히 송신될 수도 있다. 실제로는, 그러한 정보를 배치하기 위해 매크로블록 레벨 또는 고레벨 신택스가 이용될 수 있다.
예측 리파인먼트 접근법은 또한 최종 임계치 Tf 및/또는 최대 리파인먼트 성능을 위하여 모든 블록마다 수행될 최대 반복 횟수를 결정하는 것을 수반한다. 상기 임계치 및/또는 최대 반복 횟수는 주위의 디코딩된 이웃의 일부 통계에 기초하여 및/또는 코딩 절차 동안에 이용되는 코딩 품질 또는 양자화 스텝에 기초하여 도출될 수 있다. 최종 임계치는, 예를 들면, 고레벨 신택스를 이용하여 디코더에 송신될 수 있다. 이 고레벨 신택스는, 예를 들면, 매크로블록, 슬라이스, 픽쳐 및/또는 시퀀스 레벨에서 배치될 수 있다.
예측 리파인먼트가 가능한 비디오 인코더 및/또는 디코더의 실시예에서는, 예측 리파인먼트를 수행하기 위해 노이즈 제거 알고리즘을 이용할 수 있다. 예측 리파인먼트 필터의 특정 실시예는 다음의 단계들을 수반할 수 있다.
1) T = T0
2) 현재 블록을 L개 층들로 분해한다.
3) 현재 블록에 대한 인트라 예측된 값들로 층 픽셀들을 초기화한다.
4) T > Tf이고 및/또는 수행되는 반복 횟수 < 최대치인 동안,
a) i=1,..., L에 대하여(L은 가장 안쪽 층)
ⅰ. 층들 i,..., L과 0%는 아니고 50% 미만 오버랩하는 모든 이산 코사인 변환(DCT) 블록들을 찾아낸다.
ⅱ. 임계치 T를 이용하여 계수들을 하드 스레시홀드(hard threshold)한다.
ⅲ. 역변환하고 층 i 내의 필셀들을, 그 층의 관련 픽셀들과 오버랩하는 과완전(over complete) 역변환들을 평균함으로써 업데이트한다.
b) T = T - ΔT.
이 특정 실시예는 본질적으로 반복이다. 그러나, 본 원리들의 다른 실시예들은 하나의 반복에서 실행하도록 구현될 수 있다는 것을 알아야 한다.
따라서, 일 실시예에서는, 비디오 압축 애플리케이션을 위한 인루프 리파인먼트 컴포넌트로서 사용하기 위해 이미지 인페인팅 기법들이 제안된다. 일 실시예에서는, 강화된 코딩 성능을 위하여 예측 후(및 레시듀 오차 생성 전) 리파인먼트 단계가 제안된다. 일 실시예에서는, 그러한 예측 리파인먼트를 위하여 노이즈 제거 기반 인페인팅 기법들이 사용이 제안된다.
인터 -예측 리파인먼트
여기에 제공된 본 원리들의 가르침이 주어지면, 위에서 설명된 인트라-예측 리파인먼트 접근법은, 본 원리들의 정신을 유지하면서, 이 기술과 관련 기술의 숙련된 당업자에 의한 인터-예측 리파인먼트에서 사용하기 위해 쉽사리 확장된다는 것을 알아야 한다. 또한 인터-예측 리파인먼트는 움직임 보상 모드들 및/또는 움직임 보상 데이터(움직임 벡터, 참조 프레임) 및 그들의 이웃 블록들과의 관계에 의존하는 움직임 보상된 예측 모드 및/또는 움직임 보상(MC) 예측 데이터(예를 들면, 임계치 적응 및/또는 반복 횟수 설정 및/또는 리파인먼트 인에이블)에 의존하는 리파인먼트 프로세스의 튜닝을 수반할 수 있다.
일 실시예에서, 리파인먼트 단계는 모든 매크로블록들이 제1 인코딩 프로세스를 따른 후에 선택된 블록들 또는 매크로블록들에 대해 제2 패스 리파인먼트 단계로서 인터 데이터에 적용될 수 있다. 이것은 인터 프레임들이 코딩될 때 고려될 수 있다. 일 실시예에서는, 제2 인코딩 패스 동안에, 선택된 블록들, 매크로블록들 및/또는 영역들은, 원한다면, 논-캐주얼 데이터 이웃(도 5a 참조)을 이용한 예측 리파인먼트의 추가 단계를 이용할 수 있다. 도 5b를 참조하면, 코딩되고 있는 현재의 인트라 4×4 블록 및 인페인팅을 위한 관련된 논-캐주얼 이웃에 대한 도면이 참조 번호 550에 의해 일반적으로 지시되어 있다. 특히, 현재의 4×4 블록은 참조 번호 560에 의해 지시되어 있고, 관련 이웃 블록들은 참조 번호 570에 의해 지시되어 있다.
이 리파인먼트 단계는 임의의 형상 또는 사이즈의 픽쳐, 예를 들면, 서브-블록들, 매크로블록들에 또는 서브-블록들 및/또는 매크로블록들의 조합으로 만들어진 합성 영역에 적용될 수 있다. 그 후, 그 예측에 대한 추가의 리파인먼트 단계를 고려하여, 인코딩될 최종 레시듀 오차가 생성된다.
본 원리들의 실시예에 따른 예시적인 매크로블록 헤더가 표 1에 제시되어 있다.
Figure 112009023354437-pct00001
도 6을 참조하면, 예측 리파인먼트를 이용하여 이미지 데이터를 인코딩하는 방법이 참조 번호 600에 의해 일반적으로 지시되어 있다. 도 6의 특정 예에서는, 간소화를 위하여 예측 리파인먼트의 사용 또는 미사용에 대한 매크로블록 단위 적응성(macroblock-wise adaptivity)만이 고려된다.
방법(600)은 기능 블록 610에 제어를 넘기는 시작 블록 605를 포함한다. 기능 블록 610은 인트라 예측을 수행하고 최적의 인트라 예측 모드를 선택하고, 왜곡의 측정(measure of distortion)을 D_intra로서 기록하고, 제어를 기능 블록 615에 넘긴다. 기능 블록 615는 인트라 예측된 데이터에 대해 예측 리파인먼트를 수행하고, 왜곡 측정을 D_refinement로서 기록하고, 제어를 판정 블록 620에 넘긴다. 판정 블록 620은 D_refinement 더하기(plus) 인트라 모드의 코딩 비용(intra_cost)과 리파인먼트 선택 비용(refinement_cost)의 측정의 덧셈이 D_intra 더하기 인트라 모드의 코딩 비용(intra_cost)의 측정의 덧셈보다 작은지 여부를 판정한다. 만일 그렇다면, 제어는 기능 블록 625에 넘겨진다. 그렇지 않다면, 제어는 기능 블록 630에 넘겨진다.
기능 블록 625는 prediction_refinement_flag를 1과 같게 설정하고, 제어를 기능 블록 635에 넘긴다.
기능 블록 630은 prediction_refinement_flag를 0과 같게 설정하고, 제어를 기능 블록 632에 넘긴다.
기능 블록 632는 획득된 예측의 리파인먼트를 버리고, 제어를 기능 블록 635에 넘긴다.
기능 블록 635는 레시듀를 계산하고 현재의 매크로블록을 엔트로피 코딩하고, 제어를 종료 블록 699에 넘긴다.
도 7을 참조하면, 예측 리파인먼트를 이용하여 이미지 데이터를 디코딩하는 방법이 참조 번호 700에 의해 일반적으로 지시되어 있다.
방법(700)은 기능 블록 710에 제어를 넘기는 시작 블록 705를 포함한다. 기능 블록 710은 비트스트림을 파싱(parsing)하고 인트라 예측 모드 및 prediction_refinement_flag를 얻고(결정하고), 제어를 기능 블록 715에 넘긴다. 기능 블록 715는 인트라 예측을 수행하고, 제어를 판정 블록 720에 넘긴다. 판정 블록 720은 prediction_refinement_flag가 1과 같은지 여부를 판정한다. 만일 그렇다면, 제어는 기능 블록 725에 넘겨진다. 그렇지 않다면, 제어는 기능 블록 730에 넘겨진다.
기능 블록 725는 인트라 예측된 데이터에 대해 예측 리파인먼트를 수행하고, 제어를 기능 블록 730에 넘긴다.
기능 블록 730은 레시듀를 더하고 현재의 매크로블록을 재구성하고, 제어를 종료 블록 799에 넘긴다.
도 8을 참조하면, 리파인먼트를 갖는 예측을 제공하는 예시적인 장치가 참조 번호 800에 의해 일반적으로 지시되어 있다. 장치(800)는, 예를 들면, 각각, 도 3과 도 4의 예측 리파인먼트 필터(333) 및/또는 예측 리파인먼트 필터(433)를 포함하도록 구현될 수 있다.
장치(800)는 예측 선택기(selector) 및/또는 블렌더(blender)의 제1 입력과 신호 통신하여 접속된 출력을 갖는 인트라-예측 모듈(805)을 포함한다. 예측 선택기 및/또는 블렌더(815)의 출력은 리파인먼트 계산기(820)의 제1 입력, 예측 선택기 및/또는 블렌더(825)의 제1 입력, 초기 임계치 추정기(830)의 제1 입력, 및 최종 임계치 추정기(835)의 제1 입력과 신호 통신하여 접속된다. 리파인먼트 계산기(820)의 출력은 예측 선택기 및/또는 블렌더(825)의 제2 입력과 신호 통신하여 접속된다.
인터 예측 모듈(810)의 출력은 예측 선택기 및/또는 블렌더(815)의 제2 입력과 신호 통신하여 접속된다.
초기 임계치 추정기(830)의 출력은 리파인먼트 계산기(820)의 제2 입력 및 반복 횟수 계산기(840)의 제1 입력과 신호 통신하여 접속된다.
최종 임계치 추정기(835)의 출력은 반복 횟수 계산기(840)의 제2 입력 및 리파인먼트 계산기(820)의 제3 입력과 신호 통신하여 접속된다.
반복 횟수 계산기(840)의 출력은 리파인먼트 계산기(820)의 제4 입력과 신호 통신하여 접속된다.
인트라 예측 모듈(805)의 입력, 초기 임계치 추정기(830)의 입력, 및 최종 임계치 추정기(835)의 입력은, 현재의 픽쳐에서 이미 디코딩된 데이터를 수신하기 위한, 장치(800)의 입력들로서 이용가능하다.
인터 예측 모듈(810)의 입력, 초기 임계치 추정기(830)의 제2 입력, 및 최종 임계치 추정기(835)의 제2 입력은, 이미 디코딩된 픽쳐들을 수신하기 위한, 장치(800)의 입력들로서 이용가능하다.
초기 임계치 추정기(830)의 제4 입력, 최종 임계치 추정기(835)의 제4 입력, 및 반복 횟수 계산기(840)의 제3 입력은, 제어 파라미터들을 수신하기 위한, 장치(800)의 입력으로서 이용가능하다.
예측 선택기 및/또는 블렌더(825)의 출력은 리파인된 예측을 출력하기 위한, 장치(800)의 출력으로서 이용가능하다.
리파인먼트 계산기(820), 초기 임계치 추정기(830), 최종 임계치 추정기(835), 반복 횟수 계산기(840), 및 예측 선택기 및/또는 블렌더(825)는 리파인먼트 모듈(877)의 일부이고, 리파인먼트 모듈(877)은 장치(800)의 일부이다.
도 9를 참조하면, 리파인된 예측을 생성하는 예시적인 방법이 참조 번호 900에 의해 일반적으로 지시되어 있다. 방법(900)은 기능 블록 910에 의해 표현되는 예측 부분 및 블록들 915 내지 970에 의해 표현되는 리파인먼트 부분을 포함하는 것으로 생각될 수 있다. 리파인먼트 부분은 또한 참조 번호 966에 의해 지시되어 있다.
방법(900)은 기능 블록 910에 제어를 넘기는 시작 블록 905를 포함한다. 기능 블록 910은, 예를 들면, MPEG-4 AVC 표준에 기초한, 예측 단계(들)를 수행하고, 제어를 판정 블록 915에 넘긴다. 판정 블록 915는 예측에 대한 리파인먼트를 이용할지 여부를 판정한다. 만일 그렇다면, 제어는 기능 블록 920에 넘겨진다. 그렇지 않다면, 제어는 종료 블록 999에 넘겨진다.
기능 블록 920은 픽셀들의 층들 상의 현재 예측된 블록의 분해를 수행하고, 제어를 루프 한계 블록(loop limit block) 925에 넘긴다. 루프 한계 블록 925는 현재의 블록의 각 층 i에 대하여 루프를 수행하고, 제어를 기능 블록 930에 넘긴다. 기능 블록 930은 임계치 T를 T_start로 설정하고, 제어를 루프 한계 블록 935에 넘긴다. 루프 한계 블록 935는 각 반복에 대한 루프를 수행하고, 제어를 기능 블록 940에 넘긴다. 기능 블록 940은 이미 디코딩된 공간상 이웃들과의 양호한 오버랩(여기서 사용될 때, "양호한 오버랩(good overlap)"은 적어도 50%의 오버랩을 지칭함)을 갖는 변환들의 변환 계수들을 생성하고, 제어를 기능 블록 945에 넘긴다. 기능 블록 945는 계수들에 대해 스레시홀딩 동작(thresholding operation)을 수행하고(예를 들면, 주어진 임계치보다 높은 진폭을 갖는 계수들은 유지하고 그러한 임계치보다 아래에 있는 것들은 0으로 설정하고), 제어를 기능 블록 950에 넘긴다. 기능 블록 950은 이미 디코딩된 공간상 이웃들과의 양호한 오버랩을 갖는 변환들의 스레시홀딩된 계수들을 역변환하고, 제어를 기능 블록 955에 넘긴다. 기능 블록 955는 스레시홀딩 동작이 디코딩된 픽셀들에 영향을 미치지 않도록 디코딩된 픽셀들을 복원하고, 제어를 기능 블록 960에 넘긴다. 기능 블록 960은 임계치 T를 감소시키고, 제어를 루프 한계 블록 965에 넘긴다. 루프 한계 블록 965는 각 반복에 대하여 루프를 종료하고, 제어를 루프 한계 블록 970에 넘긴다. 루프 한계 블록 970은 현재 예측된 블록의 각 층 i에 대하여 루프를 종료하고, 제어를 종료 블록 999에 넘긴다.
도 10을 참조하면, 리파인먼트 중인 매크로블록 내의 동심 픽셀 층들의 예시적인 세트가 참조 번호 1000에 의해 일반적으로 지시되어 있다. 매크로블록(1010)은 매크로블록들(1020)의 논-캐주얼 이웃을 갖는다.
이제 본 발명의 다수의 부수적인 이점들/특징들 중 일부에 대하여 설명한다. 그중 일부는 위에서 언급되었다. 예를 들면, 하나의 이점/특징은 픽쳐의 이미지 영역을 인코딩하는 인코더를 갖는 장치이다. 상기 인코더는 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터를 갖는다. 상기 예측 리파인먼트 필터는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역에 대한 인터 예측을 리파인하고, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값들에 대응한다.
다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 이미지 영역은 블록, 매크로블록, 블록들의 조합, 및 매크로블록들의 조합 중 적어도 하나이다.
또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터는 선형 타입과 비선형 타입 중 적어도 하나이다.
또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 이미지 영역은 동일한 또는 유사한 장면(scene)에 대한 멀티-뷰 비디오 콘텐츠, 싱글-뷰 비디오 콘텐츠, 동일한 장면에 대한 스케일가능한 층들의 세트로부터의 스케일가능한 층 중 임의의 것에 대응한다.
또한, 또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터는 반복 노이즈 저감 방법 및 비반복 노이즈 저감 방법에 관하여 적용된다.
또한, 또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터는 반복 분실 데이터 추정 방법 및 비반복 분실 데이터 추정 방법에 관하여 적용된다.
또한, 또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터는 상기 이미지 영역 및 이웃 영역들 중 적어도 하나에 대응하는 데이터 특성 및 데이터 통계 중 적어도 하나에 따라서 적응적으로 인에이블 또는 디스에이블된다.
또한, 또 다른 이점/특징은 상술한 바와 같이 적응적으로 인에이블 또는 디스에이블되는 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 데이터 특성 및 데이터 통계 중 적어도 하나는 코딩 모드, 움직임 데이터 및 레시듀 데이터 중 적어도 하나를 포함한다.
또한, 또 다른 이점/특징은 상술한 바와 같이 적응적으로 인에이블 또는 디스에이블되는 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터에 대한 인에이블 정보 또는 디스에이블 정보는 왜곡 측정 및 코딩 비용 측정 중 적어도 하나가 최소화되도록 결정된다.
또한, 또 다른 이점/특징은 상술한 바와 같이 적응적으로 인에이블 또는 디스에이블되는 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터에 대한 인에이블 정보 또는 디스에이블 정보는 서브블록 레벨 신택스 엘리먼트, 블록 레벨 신택스 엘리먼트, 매크로블록 레벨 신택스 엘리먼트, 및 고레벨 신택스 엘리먼트 중 적어도 하나를 이용하여 시그널링된다.
또한, 또 다른 이점/특징은 상술한 바와 같이 상기 예측 리파인먼트 필터에 대한 인에이블 정보 또는 디스에이블 정보가 서브블록 레벨 신택스 엘리먼트, 블록 레벨 신택스 엘리먼트, 매크로블록 레벨 신택스 엘리먼트, 및 고레벨 신택스 엘리먼트 중 적어도 하나를 이용하여 시그널링되는 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 적어도 하나의 고레벨 신택스 엘리먼트는 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 설정 레벨, 시퀀스 파라미터 설정 레벨 및 네트워크 추상화 층(abstraction layer) 헤더 레벨 중 적어도 하나에 배치된다.
또한, 또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 인코더는 상기 이미지 블록에 대응하는 상기 예측 리파인먼트 필터의 파라미터들을 적응적으로 나타내는 사이드 정보를 송신하고, 상기 사이드 정보는 서브-매크로블록 레벨, 매크로블록 레벨, 슬라이스 레벨, 픽쳐 레벨, 및 시퀀스 레벨 중 적어도 하나에서 송신된다.
또한, 또 다른 이점/특징은 상술한 바와 같이 상기 인코더가 사이드 정보를 송신하는 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터의 파라미터들은 상기 이미지 영역 및 이웃 영역들 중 적어도 하나에 대응하는 데이터 특성 및 데이터 통계 중 적어도 하나에 적어도 부분적으로 기초하여 적응적으로 나타내어진다.
또한, 또 다른 이점/특징은 상기 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기와 같이 상기 예측 리파인먼트 필터의 파라미터들은 적응적으로 나타내어지고, 상기 데이터 특성 및 데이터 통계 중 적어도 하나는 코딩 모드, 움직임 데이터, 재구성된 데이터, 및 레시듀 데이터 중 적어도 하나를 포함한다.
또한, 또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터는 상기 픽쳐의 제1 패스 인코딩에서 적용되지 않고 상기 픽쳐의 제2 패스 인코딩에서 선택적으로 적용된다.
또한, 또 다른 이점/특징은 상술한 바와 같은 예측 리파인먼트 필터를 갖는 인코더를 갖는 장치이고, 상기 예측 리파인먼트 필터는 이전에 디코딩된 데이터와 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역에 대한 인트라 예측을 리파인하고, 상기 이전에 디코딩된 데이터와 상기 이전에 인코딩된 데이터는 상기 이미지 영역에 관하여 이웃 영역들 내의 픽셀 값들에 대응한다.
본 원리들의 이들 및 다른 특징들 및 이점들은 여기에서의 가르침에 기초하여 관련 기술의 숙련된 당업자에 의해 쉽사리 확인될 수 있다. 본 원리들의 가르침은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 그의 조합들의 다양한 형태들로 구현될 수 있다는 것을 이해해야 한다.
가장 바람직하게는, 본 원리들의 가르침은 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 이 소프트웨어는 프로그램 저장 장치 상에 실체적으로 구체화된 애플리케이션 프로그램으로서 구현될 수 있다. 이 애플리케이션 프로그램은 임의의 적합한 아키텍처를 포함하는 머신에 업로드되어, 그 머신에 의해 실행될 수 있다. 바람직하게는, 그 머신은 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM"), 및 입력/출력("I/0") 인터페이스들과 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 이 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령 코드를 포함할 수 있다. 여기에서 설명된 다양한 프로세스들 및 기능들은 상기 마이크로명령 코드의 부분 또는 상기 애플리케이션 프로그램의 부분, 또는 그의 임의의 조합일 수 있고, 그것은 CPU에 의해 실행될 수 있다. 또한, 추가의 데이터 저장 장치 및 인쇄 장치와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 접속될 수 있다.
첨부 도면들에서 도시된 구성하는 시스템 컴포넌트들 및 방법들 중 일부는 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 컴포넌트들 또는 프로세스 기능 블록들 간의 실제 접속들은 본 원리들이 프로그램되는 방법에 따라서 다를 수 있다는 것을 더 이해해야 한다. 여기서의 가르침이 주어지면, 관련 기술의 숙련된 당업자는 본 원리들의 이들 및 유사한 구현들 또는 구성들을 예측할 수 있을 것이다.
비록 상기 예시적인 실시예들은 여기에서 첨부 도면들을 참조하여 설명되었지만, 본 원리들은 그 정확한 실시예들에 제한되지 않으며, 본 원리들의 범위 또는 정신에서 벗어남이 없이 관련 기술의 숙련된 당업자에 의해 거기에 다양한 변경들 및 수정들이 실행될 수 있다는 것을 이해해야 한다. 모든 그러한 변경들 및 수정들은 첨부된 청구항들에서 제시된 본 원리들의 범위 내에 포함될 것이 의도된다.

Claims (25)

  1. 픽쳐(picture)의 이미지 영역을 인코딩하는 인코더(300)를 포함하는 장치로서,
    상기 인코더는 상기 이미지 영역에 대한 인트라 예측(intra prediction) 및 인터 예측(inter prediction) 중 적어도 하나를 리파인(refine)하는 예측 리파인먼트 필터(prediction refinement filter)(333)를 갖고,
    상기 예측 리파인먼트 필터(333)는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역을 복수의 층(layer)들로 분할함으로써 상기 이미지 영역에 대한 인터 예측을 리파인하고 상기 복수의 층의 각각의 층을 처리하며, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역의 현재 처리된 층에 대한 인접 층들에서의 픽셀 값들에 대응하고,
    상기 인코더는 역변환기 및 역양자화기 유닛과 결합기를 더 포함하고, 상기 역변환기 및 역양자화기 유닛은 상기 결합기의 제1 입력에 바로 접속되는 출력을 갖고, 상기 결합기는 상기 예측 리파인먼트 필터의 출력에 바로 접속되는 제2 입력을 갖으며,
    상기 인코더는 디블록킹 필터를 더 포함하고, 상기 결합기의 출력은 상기 예측 리파인먼트 필터의 입력 및 상기 디블록킹 필터의 입력 모두에 바로 접속되는, 장치.
  2. 제1항에 있어서, 상기 이미지 영역은 동일하거나 또는 유사한 장면(scene)에 대한 멀티-뷰 비디오 콘텐츠, 싱글-뷰 비디오 콘텐츠, 및 동일한 장면에 대한 스케일가능한 층(scalable layer)들의 세트로부터의 스케일가능한 층 중 임의의 것에 대응하는 장치.
  3. 제1항에 있어서, 상기 예측 리파인먼트 필터(333)는 상기 현재 처리된 층 및 인접 층들 중 적어도 하나에 대응하는 데이터 특성 및 데이터 통계 중 적어도 하나에 따라서 적응적으로 인에이블되거나 또는 디스에이블되는 장치.
  4. 제3항에 있어서, 상기 데이터 특성 및 데이터 통계 중 적어도 하나는 코딩 모드들, 움직임 데이터 및 레시듀(residue) 데이터 중 적어도 하나를 포함하는 장치.
  5. 제1항에 있어서, 상기 예측 리파인먼트 필터(333)는 상기 픽쳐의 제1 패스 인코딩에서 적용되지 않고 상기 픽쳐의 제2 패스 인코딩에서 선택적으로 적용되는 장치.
  6. 픽쳐의 이미지 영역을, 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터(333)를 이용하여 인코딩하는 단계를 포함하는 방법으로서,
    상기 예측 리파인먼트 필터(333)는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역을 복수의 층(layer)들로 분할함으로써 상기 이미지 영역에 대한 인터 예측을 리파인하고 상기 복수의 층의 각각의 층을 처리하며, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역의 현재 처리된 층에 대한 인접 층들에서의 픽셀 값들에 대응하고,
    상기 인코딩하는 단계는 상기 예측 리파인먼트 필터를 포함하는 인코더에서 수행되고, 상기 인코더는 역변환기 및 역양자화기 유닛과 결합기를 더 포함하며, 상기 역변환기 및 역양자화기 유닛은 상기 결합기의 제1 입력에 바로 접속되는 출력을 갖고, 상기 결합기는 상기 예측 리파인먼트 필터의 출력에 바로 접속되는 제2 입력을 갖으며,
    상기 인코더는 디블록킹 필터를 더 포함하고, 상기 결합기의 출력은 상기 예측 리파인먼트 필터의 입력 및 상기 디블록킹 필터의 입력 모두에 바로 접속되는, 방법.
  7. 제6항에 있어서, 이미지 블록은 동일하거나 또는 유사한 장면에 대한 멀티-뷰 비디오 콘텐츠, 싱글-뷰 비디오 콘텐츠, 및 동일한 장면에 대한 스케일가능한 층들의 세트로부터의 스케일가능한 층 중 임의의 것에 대응하는 방법.
  8. 제6항에 있어서, 상기 예측 리파인먼트 필터는 이미지 블록(820, 830, 835, 840)에 대응하는 데이터 특성 및 데이터 통계 중 적어도 하나에 따라서 적응적으로 인에이블되거나 또는 디스에이블되는 방법.
  9. 제8항에 있어서, 상기 데이터 특성 및 데이터 통계 중 적어도 하나는 코딩 모드들, 움직임 데이터 및 레시듀 데이터 중 적어도 하나를 포함하는 방법.
  10. 제6항에 있어서, 상기 예측 리파인먼트 필터는 상기 픽쳐의 제1 패스 인코딩에서 적용되지 않고 상기 픽쳐의 제2 패스 인코딩에서 선택적으로 적용되는 방법.
  11. 픽쳐의 이미지 영역을 디코딩하는 디코더(400)를 포함하는 장치로서,
    상기 디코더는 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터(433)를 갖고,
    상기 예측 리파인먼트 필터(433)는 상기 이미지 영역의 현재 처리된 층에 대한 인접 층들에서의 픽셀 값들에 대응하는 이전에 디코딩된 데이터를 이용하여 상기 이미지 영역을 복수의 층(layer)들로 분할함으로써 상기 이미지 영역에 대한 인터 예측을 리파인하고 상기 복수의 층의 각각의 층을 처리하고,
    상기 디코더는 역변환기 및 역양자화기 유닛과 결합기를 더 포함하고, 상기 역변환기 및 역양자화기 유닛은 상기 결합기의 제1 입력에 바로 접속되는 출력을 갖고, 상기 결합기는 상기 예측 리파인먼트 필터의 출력에 바로 접속되는 제2 입력을 갖으며,
    상기 디코더는 디블록킹 필터를 더 포함하고, 상기 결합기의 출력은 상기 예측 리파인먼트 필터의 입력 및 상기 디블록킹 필터의 입력 모두에 바로 접속되는, 장치.
  12. 제11항에 있어서, 상기 예측 리파인먼트 필터(433)는 이미지 블록에 대응하는 데이터 특성 및 데이터 통계 중 적어도 하나에 따라서 적응적으로 인에이블되거나 또는 디스에이블되는 장치.
  13. 제12항에 있어서, 상기 예측 리파인먼트 필터(433)에 대한 인에이블 정보 또는 디스에이블 정보는 적어도 하나의 고레벨 신택스 엘리먼트(high level syntax element)로부터 디코딩되는 장치.
  14. 제13항에 있어서, 상기 적어도 하나의 고레벨 신택스 엘리먼트는 슬라이스 헤더(slice header) 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 설정 레벨, 시퀀스 파라미터 설정 레벨 및 네트워크 추상화 층 유닛 헤더(network abstraction layer unit header) 레벨 중 적어도 하나에 배치되는 장치.
  15. 제11항에 있어서, 상기 예측 리파인먼트 필터(433)는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역에 대한 인트라 예측을 리파인하고, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역의 현재 처리된 층에 대한 인접 층들에서의 픽셀 값들에 대응하는 장치.
  16. 픽쳐의 이미지 영역을, 상기 이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터(433)를 이용하여 디코딩하는 단계를 포함하는 방법으로서,
    상기 예측 리파인먼트 필터(433)는 상기 이미지 영역의 현재 처리된 층에 대한 인접 층들에서의 픽셀 값들에 대응하는 이전에 디코딩된 데이터를 이용하여 상기 이미지 영역을 복수의 층(layer)들로 분할함으로써 상기 이미지 영역에 대한 인터 예측을 리파인하고 상기 복수의 층의 각각의 층을 처리하고,
    상기 디코딩하는 단계는 상기 예측 리파인먼트 필터를 포함하는 디코더에서 수행되고, 상기 디코더는 역변환기 및 역양자화기 유닛과 결합기를 더 포함하며, 상기 역변환기 및 역양자화기 유닛은 상기 결합기의 제1 입력에 바로 접속되는 출력을 갖고, 상기 결합기는 상기 예측 리파인먼트 필터의 출력에 바로 접속되는 제2 입력을 갖으며,
    상기 디코더는 디블록킹 필터를 더 포함하고, 상기 결합기의 출력은 상기 예측 리파인먼트 필터의 입력 및 상기 디블록킹 필터의 입력 모두에 바로 접속되는, 방법.
  17. 제16항에 있어서, 상기 예측 리파인먼트 필터(433)는 반복적 분실 데이터 추정(iterative missing data estimation) 방법 및 비반복적 분실 데이터 추정(non-iterative missing data estimation) 방법(966)에 대하여 적용되는 방법.
  18. 제16항에 있어서, 상기 예측 리파인먼트 필터는 이미지 블록에 대응하는 데이터 특성 및 데이터 통계 중 적어도 하나에 따라서 적응적으로 인에이블되거나 또는 디스에이블되는 방법.
  19. 제18항에 있어서, 상기 데이터 특성 및 데이터 통계 중 적어도 하나는 코딩 모드들, 움직임 데이터 및 레시듀 데이터 중 적어도 하나를 포함하는 방법.
  20. 제16항에 있어서, 상기 디코딩하는 단계는 이미지 블록에 대응하는 상기 예측 리파인먼트 필터의 파라미터들을 적응적으로 결정하기 위해 사이드 정보(side information)를 디코딩하는 단계를 더 포함하고, 상기 사이드 정보는 매크로블록 레벨, 슬라이스 레벨, 픽쳐 레벨 및 시퀀스 레벨 중 적어도 하나로부터 디코딩되는 방법.
  21. 비디오 신호 데이터가 인코딩되어 있는 저장 매체로서,
    이미지 영역에 대한 인트라 예측 및 인터 예측 중 적어도 하나를 리파인하는 예측 리파인먼트 필터(333)를 이용하여 인코딩된 픽쳐의 이미지 영역을 포함하며,
    상기 예측 리파인먼트 필터(333)는 이전에 디코딩된 데이터 및 이전에 인코딩된 데이터 중 적어도 하나를 이용하여 상기 이미지 영역을 복수의 층(layer)들로 분할함으로써 상기 이미지 영역에 대한 인터 예측을 리파인하고 상기 복수의 층의 각각의 층을 처리하며, 상기 이전에 디코딩된 데이터 및 상기 이전에 인코딩된 데이터는 상기 이미지 영역의 현재 처리된 층에 대한 인접 층들에서의 픽셀 값들에 대응하고,
    상기 예측 리파인먼트 필터를 이용하여 인코딩하는 것은 상기 예측 리파인먼트 필터를 포함하는 인코더에서 수행되고, 상기 인코더는 역변환기 및 역양자화기 유닛과 결합기를 더 포함하며, 상기 역변환기 및 역양자화기 유닛은 상기 결합기의 제1 입력에 바로 접속되는 출력을 갖고, 상기 결합기는 상기 예측 리파인먼트 필터의 출력에 바로 접속되는 제2 입력을 갖으며,
    상기 인코더는 디블록킹 필터를 더 포함하고, 상기 결합기의 출력은 상기 예측 리파인먼트 필터의 입력 및 상기 디블록킹 필터의 입력 모두에 바로 접속되는, 저장 매체.
  22. 제21항에 있어서, 상기 이미지 영역은 블록, 매크로블록, 블록들의 조합, 및 매크로블록들의 조합 중 적어도 하나인 저장 매체.
  23. 제21항에 있어서, 상기 이미지 영역은 동일하거나 또는 유사한 장면에 대한 멀티-뷰 비디오 콘텐츠, 싱글-뷰 비디오 콘텐츠, 및 동일한 장면에 대한 스케일가능한 층들의 세트로부터의 스케일가능한 층 중 임의의 것에 대응하는 저장 매체.
  24. 제23항에 있어서, 데이터 특성 및 데이터 통계 중 적어도 하나는 코딩 모드들, 움직임 데이터 및 레시듀 데이터 중 적어도 하나를 포함하는 저장 매체.
  25. 제23항에 있어서, 상기 예측 리파인먼트 필터(333)에 대한 인에이블 정보 또는 디스에이블 정보는 왜곡 측정(distortion measure) 및 코딩 비용 측정(coding cost measure) 중 적어도 하나가 최소화되도록 결정되는 저장 매체.
KR1020097007930A 2006-10-18 2007-10-11 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치 KR101566557B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US85252906P 2006-10-18 2006-10-18
US60/852,529 2006-10-18
US91153607P 2007-04-13 2007-04-13
US60/911,536 2007-04-13

Publications (2)

Publication Number Publication Date
KR20090079894A KR20090079894A (ko) 2009-07-22
KR101566557B1 true KR101566557B1 (ko) 2015-11-05

Family

ID=39314602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097007930A KR101566557B1 (ko) 2006-10-18 2007-10-11 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치

Country Status (6)

Country Link
US (1) US8542736B2 (ko)
EP (1) EP2082585A2 (ko)
JP (2) JP2010507335A (ko)
KR (1) KR101566557B1 (ko)
CN (1) CN101711481B (ko)
WO (1) WO2008048489A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195914A1 (ko) * 2016-05-11 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10791340B2 (en) * 2016-11-15 2020-09-29 Sony Corporation Method and system to refine coding of P-phase data

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2899977A1 (en) * 2002-01-31 2015-07-29 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
KR101378338B1 (ko) * 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101595899B1 (ko) * 2008-04-15 2016-02-19 오렌지 선형 형태의 픽셀들의 파티션들로 슬라이스 된 이미지 또는 이미지들의 시퀀스의 코딩 및 디코딩
PL2288163T3 (pl) * 2008-05-07 2015-11-30 Lg Electronics Inc Sposób i urządzenie do dekodowania sygnału wideo
PL2958323T3 (pl) * 2008-05-07 2017-05-31 Lg Electronics, Inc. Sposób i urządzenie do dekodowania sygnału wideo
EP2321970A1 (en) * 2008-09-04 2011-05-18 Thomson Licensing Methods and apparatus for prediction refinement using implicit motion prediction
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
CN102484701A (zh) * 2009-07-06 2012-05-30 汤姆逊许可证公司 用于空间变化残差编码的方法和设备
FR2955730A1 (fr) * 2010-01-25 2011-07-29 Thomson Licensing Procedes de codage et de decodage
TWI562600B (en) 2010-02-08 2016-12-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
US20120014447A1 (en) * 2010-07-16 2012-01-19 Sharp Laboratories Of America, Inc. System for low resolution power reduction with high resolution deblocking
US9313523B2 (en) * 2010-07-16 2016-04-12 Sharp Laboratories Of America, Inc. System for low resolution power reduction using deblocking
RU2544799C2 (ru) * 2010-09-30 2015-03-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
US20120140829A1 (en) * 2010-12-06 2012-06-07 Shantanu Rane Signal Coding Using Spatial Statistical Dependencies
CN102547270B (zh) * 2010-12-31 2014-03-19 联芯科技有限公司 当前块的相邻块可用性获取方法及系统
US9930366B2 (en) 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US10142623B2 (en) * 2011-04-12 2018-11-27 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
EP2579593A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Adaptive quantisation for intra-encoded image blocks
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
EP3090547A4 (en) * 2014-01-01 2017-07-12 LG Electronics Inc. Method and apparatus for encoding, decoding a video signal using an adaptive prediction filter
CN104954788B (zh) * 2014-03-27 2018-09-04 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN116760977A (zh) 2015-08-20 2023-09-15 日本放送协会 图像编码装置、图像解码装置、和其程序
EP3363198B1 (en) 2015-11-17 2020-09-16 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2018124818A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
US12063387B2 (en) * 2017-01-05 2024-08-13 Hfi Innovation Inc. Decoder-side motion vector restoration for video coding
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
KR20190113652A (ko) * 2018-03-27 2019-10-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
TWI744618B (zh) * 2018-03-29 2021-11-01 弗勞恩霍夫爾協會 圖像之精細化以區塊為基礎之預測式編碼及解碼技術
KR20210157419A (ko) 2018-04-04 2021-12-28 닛폰 호소 교카이 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
EP3627837A1 (en) * 2018-09-21 2020-03-25 InterDigital VC Holdings, Inc. Refinement mode processing in video encoding and decoding
BR112020026048A2 (pt) 2018-06-21 2021-03-23 Interdigital Vc Holdings, Inc. processamento de modo de refinamento em codificação e decodificação de vídeo
FR3081657A1 (fr) * 2018-06-27 2019-11-29 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
WO2020017840A1 (ko) * 2018-07-16 2020-01-23 엘지전자 주식회사 Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
US11159789B2 (en) * 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN113632477A (zh) * 2019-03-24 2021-11-09 北京字节跳动网络技术有限公司 转换后的单向预测候选的推导
EP3944621A4 (en) * 2019-03-25 2022-05-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. FRAME PREDICTION METHOD, ENCODER, DECODER, AND STORAGE MEDIA
KR20200132753A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN115567709A (zh) * 2020-07-30 2023-01-03 北京达佳互联信息技术有限公司 对子块中的像素位置处的样点进行编码的方法和装置
WO2022032028A1 (en) * 2020-08-06 2022-02-10 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for affine motion-compensated prediction refinement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184666A1 (en) * 2001-06-29 2004-09-23 Shunichi Sekiguchi Image encoder, image decoder, image encoding method, and image decoding method

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3090763B2 (ja) 1992-02-06 2000-09-25 富士通株式会社 動画像符号化装置
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US6041145A (en) 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
JP3392307B2 (ja) * 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
WO2000042772A1 (en) * 1999-01-15 2000-07-20 Koninklijke Philips Electronics N.V. Coding and noise filtering an image sequence
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2002315004A (ja) 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
US6669783B2 (en) * 2001-06-28 2003-12-30 Lam Research Corporation High temperature electrostatic chuck
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
CA2582665C (en) * 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
KR100846774B1 (ko) * 2002-05-03 2008-07-16 삼성전자주식회사 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
CN100493205C (zh) * 2003-08-19 2009-05-27 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
DE102004043857B3 (de) * 2004-09-10 2006-03-30 Infineon Technologies Ag DRAM-Zellenpaar und DRAM-Speicherzellenfeld mit Stack- und Trench-Speicherzellen sowie Verfahren zur Herstellung eines DRAM-Speicherzellenfeldes
US7634148B2 (en) * 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
US8218634B2 (en) 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
KR100760334B1 (ko) 2005-09-16 2007-09-20 주식회사 엘지화학 패널 조립세트 및 이의 시공방법
DE102005052442A1 (de) * 2005-11-03 2007-06-28 Cognis Ip Management Gmbh Strukturierte Lipidgemische
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
US8189934B2 (en) 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP5219498B2 (ja) 2007-12-26 2013-06-26 トーヨーコーケン株式会社 荷役機械及びその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184666A1 (en) * 2001-06-29 2004-09-23 Shunichi Sekiguchi Image encoder, image decoder, image encoding method, and image decoding method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195914A1 (ko) * 2016-05-11 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10958931B2 (en) 2016-05-11 2021-03-23 Lg Electronics Inc. Inter prediction method and apparatus in video coding system
US10791340B2 (en) * 2016-11-15 2020-09-29 Sony Corporation Method and system to refine coding of P-phase data

Also Published As

Publication number Publication date
JP2010507335A (ja) 2010-03-04
WO2008048489A3 (en) 2008-07-17
EP2082585A2 (en) 2009-07-29
JP5801363B2 (ja) 2015-10-28
CN101711481A (zh) 2010-05-19
CN101711481B (zh) 2013-01-09
US20090238276A1 (en) 2009-09-24
US8542736B2 (en) 2013-09-24
JP2013258771A (ja) 2013-12-26
WO2008048489A2 (en) 2008-04-24
KR20090079894A (ko) 2009-07-22

Similar Documents

Publication Publication Date Title
KR101566557B1 (ko) 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치
KR101864910B1 (ko) 화소 레벨 적응 인트라-평활화
US10743027B2 (en) Methods and apparatus for adaptive template matching prediction for video encoding and decoding
CN107295342B (zh) 视频编码装置
KR102323427B1 (ko) 영상 부호화 방법 및 장치
KR101907122B1 (ko) 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR101885382B1 (ko) 공간적으로 변하는 잔류물 코딩을 위한 방법 및 장치
KR101378749B1 (ko) 성김에 기반한 아티팩트 제거 필터링에서 가변 변환들에 응답하여 필터 파라미터 결정 및 선택을 위한 방법과 장치
KR102003137B1 (ko) 디-아티팩트 필터링을 위한 영역-기반 필터 파라미터 선택 방법들 및 장치들
WO2009126299A1 (en) Deblocking filtering for displaced intra prediction and template matching
KR20110001990A (ko) 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
WO2007139266A1 (en) Method and apparatus for video coding on pixel-wise prediction
JP2011510561A (ja) 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
EP2508000A1 (en) Methods and apparatus for improved chroma transforms for inter frames in video encoding and decoding
WO2011046617A2 (en) Methods and apparatus for efficient adaptive filtering for video encoders and decoders

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140721

Effective date: 20150923

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)