KR20090039720A - 적응적 참조 필터링을 위한 방법 및 장치 - Google Patents

적응적 참조 필터링을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20090039720A
KR20090039720A KR1020097000943A KR20097000943A KR20090039720A KR 20090039720 A KR20090039720 A KR 20090039720A KR 1020097000943 A KR1020097000943 A KR 1020097000943A KR 20097000943 A KR20097000943 A KR 20097000943A KR 20090039720 A KR20090039720 A KR 20090039720A
Authority
KR
South Korea
Prior art keywords
picture
reference picture
encoding
encoder
decoding
Prior art date
Application number
KR1020097000943A
Other languages
English (en)
Other versions
KR101484606B1 (ko
Inventor
포린 라이
예핑 수
펭 인
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090039720A publication Critical patent/KR20090039720A/ko
Application granted granted Critical
Publication of KR101484606B1 publication Critical patent/KR101484606B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

적응적 참조 필터링을 위한 방법 및 장치가 제공된다. 이 장치는 적어도 하나의 화상을 인코딩하기 위한 인코더(100)를 포함한다. 인코더(100)는 적어도 하나의 필터링된 참조 화상을 제각각 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하고, 적어도 하나의 필터링된 참조 화상을 이용해서 적어도 하나의 화상을 예측적으로 코딩한다. 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상이다.

Description

적응적 참조 필터링을 위한 방법 및 장치{METHODS AND APPARATUS FOR ADAPTIVE REFERENCE FILTERING}
본 출원은 본 명세서에 그 전체가 참조로서 병합되는 2006년 7월 18일에 출원된 미합중국 가출원 일련번호 60/807,645의 이익을 주장한다.
본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 대한 것이고, 보다 구체적으로는 적응적 참조 필터링을 위한 방법 및 장치에 대한 것이다.
현재의 인코더 및/또는 디코더 설계에 있어서, 움직임 보상은 현재 블록으로부터 예측 블록을 차감함으로써 시간적 중복을 이용하기 위해 사용된다. 하지만, 움직임 보상된 예측이 효율적이지 않은 다양한 상황들이 존재한다. 예를 들면, 하나의 상황은 인코딩될 현재 프레임과 참조 프레임간의 선명도/흐릿함의 불일치가 존재하는 경우를 포함한다. 이것은 예를 들면 초점 변경, 핸드-헬드(hand-held) 디바이스를 구비한 카메라 팬(pan), 및/또는 장면 변경을 위해 생성된 특수 효과에 의해 유발될 수 있다. 이러한 현상은 두 등장 인물이 상이한 장면/초점 깊이에 나타날 때, 카메라가 먼저 하나의 등장 인물에 초점이 맞추어지고, 그리고 나서 그 초점을 다른 하나의 등장 인물로 이동시키는 드라마에서 종종 관찰될 수 있다. 첫 번째 인물은 참조 프레임에서 더 선명하게 보이고, 반면 두 번째 인물은 참조 프레 임에서 흐려진다. 여기서, 우리는 정규 단일-뷰 비디오 코딩에서 이러한 초점-변경 예를 "제1 경우"라고 지정한다.
예측 신호의 품질을 감퇴시키는 불일치의 다른 하나의 소스는 다중-뷰 비디오 시퀀스에서 나타난다. 다중-뷰 비디오 코딩 시스템에서, 장면은 상이한 뷰 지점들로부터 다수의 카메라에 의해 동시적으로 획득된다. 불일치(disparity) 보상은 상이한 뷰 화상 중의 중복을 이용하기 위해 뷰 마다 적용된다. 각각의 뷰를 독립적으로 인코딩하는 것과 비교해서, 더 높은 코딩 효율성이 움직임 및 불일치 보상 양쪽 모두를 수행함으로써 달성될 수 있다. 다중-뷰 비디오 시스템은 이종(heterogeneous) 카메라, 또는 완벽하게 교정되지 않은 카메라를 사용해 구성될 수 있다. 이것은 상이한 뷰들 중에서 예를 들면 조명 불일치(mismatch), 컬러 불일치, 및/또는 초점 불일치와 같은 불일치를 야기한다. 교차-뷰 불일치 보상의 효율성은 이러한 불일치 때문에 감퇴될 수 있다. 더 나아가, 상이한 깊이를 가진 물체는 두 개의 뷰들 간에 상이한 종류의 부조화를 가질 수 있다. 예를 들면, 뷰 1의 물체 A는 초점이 맞을 수 있으며, 한편 뷰 2는 물체 B와 초점이 맞을 수 있다. 뷰 1으로부터 뷰 2로의 불일치 보상을 수행하기 위해, 물체 A는 기준 프레임에서 더 선명할 수 있으며, 한편 물체 B는 흐릴 수 있다. 여기서, 우리는 다중-뷰 시스템에서 이러한 카메라 초점 불일치를 "제2 경우"라고 지정한다.
적응적 참조 프레임 필터링에 대한 이전 참고 문헌 대부분은 움직임 보상을 위한 서브-픽셀 참조를 생성하는 것에 초점이 맞추어져 있다.
예를 들면, 하나의 종래의 적응적 보간 필터링 접근법에서, 적응적 보간 필 터는 프레임 기반으로 제안되었다. ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권장안(이후로부터 "MPEG-4 AVC 표준"이라고 지칭)에 대응되는 고정된 6-탭 필터를 가지고 보간된 참조 프레임을 사용해 움직임 벡터를 획득한 후에, 적응적 보간 필터의 계수는 제곱 차이의 합(SSD) 또는 절대 차이의 합(SAD)과 같은 매칭 에러 측정치를 최소화하여 계산된다. 적응적 필터는 보간된 기준 화상을 생성하기 위해 사용되고, 그리고 나서 이 기준 화상은 움직임 보상을 위해 사용된다. 이 프로세스는 새롭게 보간된 서브-픽셀 기준을 사용해 추가적인 움직임 보상을 수행하지 않는다. 필터 설계는 수직 및 수평 방향에서 분리 가능하게 제약되고, 쌍일차(bilinear) 필터로 직렬로 접속된다.
이전에 설명된 적응적 보간 필터링 접근법에 대한 향상으로서, 또 다른 접근법은 표준 보간 필터를 사용해 움직임 벡터를 먼저 획득하는 것을 수반한다. 움직임 벡터의 서브-픽셀 부분에 따라서, 상이한 보간 필터가 상이한 서브-픽셀 위치에 대해서 설계된다. 채용된 필터는 해결될 계수들의 개수를 감소시키기 위해 특정한 대칭 제약을 가지면서 2차원이며 분리가능하지 않다. 제2 움직임 추정/보상은 서브-픽셀 참조를 생성하기 위해 이런 새로운 필터를 가지고 수행된다.
적응적 보간 필터링과 관련된 위에서 설명된 종래 기술 접근법에서, 보간이 원래 데이터 지점을 변경되지 않게 유지시키므로, 참조 프레임 내의 완전 한(integer) 픽셀은 변경되지 않은 채로 남게 된다. 하지만, 이러한 접근법은 본래의 불일치를 가진 예측적 비디오 코딩을 위해서는 효율적이지 않을 수 있다.
흐릿함 보상을 이용하는 비디오 압축의 종래 기술 접근법에서, 흐릿하게 된 참조 프레임을 생성하기 위해 흐릿함 필터를 사용하는 것이 제안된다. 하지만, 이런 접근법은 현재 프레임이 참조 프레임의 흐릿하게 된 버전인 상황에만 적용되고, 그 반대의 경우에서는 적용되지 않는다. 인코더에 의해 선택될 수 있는 필터의 세트는 미리 한정되고, 이는 적응적 필터 설계 접근법과 비교해서 매우 제한적이고 부최적(suboptimal)이다. 또한, 인코딩될 각각의 프레임에 대해, 미리 한정된 세트로부터 단지 하나의 필터만이 프레임 레벨 레이트(rate) 감소에 기초해서 선택될 것이다.
종래 기술의 이러한 및 다른 단점 및 불이익은 본 발명의 원리에 의해 다루어지며, 이는 적응적 참조 필터링을 위한 방법 및 장치에 관한 것이다.
본 발명의 원리의 양상에 따라, 장치가 제공된다. 이 장치는 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함한다. 인코더는 적어도 하나의 필터링된 참조 화상을 제각각 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하고, 적어도 하나의 필터링된 참조 화상을 이용해서 적어도 하나의 화상을 예측적으로 코딩한다. 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프(in-loop) 필터에 적용되는 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상이다.
본 발명의 원리의 양상에 따라, 방법이 제공된다. 이 방법은 적어도 하나의 화상을 인코딩하는 단계를 포함한다. 인코딩 단계는 적어도 하나의 필터링된 참조 화상을 제각기 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하는 단계와, 적어도 하나의 필터링된 참조 화상을 이용해서 적어도 하나의 화상을 예측적으로 코딩하는 단계를 포함한다. 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상이다.
본 발명의 원리의 또 다른 양상에 따라, 장치가 제공된다. 이 장치는 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함한다. 디코더는 적어도 하나의 필터링된 참조 화상을 제각각 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하고, 적어도 하나의 필터링된 참조 화상을 이용해서 적어도 하나의 화상을 예측적으로 디코딩한다. 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상이다.
본 발명의 원리의 또 다른 양상에 따라, 방법이 제공된다. 이 방법은 적어도 하나의 화상을 디코딩하는 단계를 포함한다. 이 디코딩 단계는 적어도 하나의 필터링된 참조 화상을 제각각 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하는 단계와, 적어도 하나의 필터링된 참조 화상을 이용해서 적어도 하나의 화상을 예측적으로 디코딩하는 단계를 포함한다. 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상이다.
본 발명의 원리의 이런 양상 및 다른 양상, 특징 및 이점은 첨부된 도면들과 관련되어 읽혀질, 예시적인 실시예들의 다음에 나오는 상세한 설명으로부터 명백해질 것이다.
본 발명의 원리는 다음에 나오는 예시적인 도면들에 따라 더 잘 이해될 수 있다.
도 1은 본 발명의 원리의 실시예에 따라 적응적 참조 필터링을 하는 예시적인 다중-뷰 비디오 코딩(MVC) 인코더를 위한 블록도.
도 2는 본 발명의 원리의 실시예에 따라, 적응적 참조 필터링을 하는 예시적인 다중-뷰 비디오 코딩(MVC) 디코더를 위한 블록도.
도 3은 본 발명의 원리의 실시예에 따라 인코더에서 적응적 필터를 추정하기 위한 예시적인 방법을 위한 흐름도.
도 4는 본 발명의 원리의 실시예에 따라 디코더에서 적응적 필터를 추정하기 위한 예시적인 방법을 위한 흐름도.
본 발명의 원리는 적응적 참조 필터링을 위한 방법 및 장치에 관한 것이다.
다음 설명은 본 발명의 원리를 예시한다. 따라서, 비록 본 명세서에 명시적 으로 설명되거나 도시되지 않지만, 본 발명의 원리를 실현하고, 본 발명의 정신과 범위 내에 포함되는 다양한 배열들을 당업자가 안출할 수 있을 것이라는 것이 인식될 것이다.
본 명세서에서 열거된 모든 예시와 조건적인 언어는 종래 기술을 발전시키기 위해 본 발명자(들)에 의해 기여된 본 발명의 원리와 개념을 이해하는 데 있어서 독자를 돕기 위한 교육학적인(pedagogical) 목적을 위해 의도되며, 그러한 명확하게 열거된 예시와 조건으로 제한이 없는 것으로 해석되어야 한다.
또한, 원리, 양상 및 본 발명의 원리의 실시예를 열거하는 본 명세서의 모든 문장뿐만 아니라 특정 예시는 본 발명의 구조적 및 기능적 등가물 양쪽 모두를 포괄하는 것으로서 의도된다. 추가적으로, 이러한 등가물은 현재 알려진 등가물 뿐만 아니라 미래에 개발될 등가물 양쪽 모두(즉, 구조와는 상관없이 동일 기능을 수행하기 위해 개발되는 임의의 요소)를 포함한다고 의도된다.
따라서, 예를 들면, 여기서 제시된 블록도는 본 발명의 원리를 실현하는 예시적인 회로의 개념도를 나타낸다는 것이 당업자에 의해 인식될 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사 코드 등은 컴퓨터 판독 가능 매체에서 실질적으로 표현될 수 있으며, 컴퓨터 또는 프로세서에 의해 실행될 수 있는 (이러한 컴퓨터 또는 프로세서가 명시적으로 도시되는지에 상관없이) 다양한 프로세스를 나타낸다는 것이 인식될 것이다.
도면들에 도시된 다양한 요소의 기능은 전용 하드웨어의 사용을 통해서 뿐만 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어의 사 용을 통해서 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서에 의해서, 단일 공유 프로세서에 의해서, 또는 복수의 개별 프로세서(개별 프로세서의 일부는 공유될 수 있음)에 의해서 제공될 수 있다. 또한, "프로세서" 또는 "제어기"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 참조하는 것으로 해석되지 말아야 하며, 제한이 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장 장치를 묵시적으로 포함할 수 있다.
종래 및/또는 주문형의 다른 하드웨어도 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치는 단지 개념적일 뿐이다. 그것의 기능은 프로그램 논리 소자의 동작을 통해, 전용 논리 소자를 통해, 프로그램 제어와 전용 논리 소자의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 특별한 기술은 문맥으로부터 보다 특별하게 이해되는 바와 같이 구현자에 의해 선택 가능하다.
본 발명의 청구항들에서, 지정된 기능을 수행하기 위한 수단으로서 표현되는 임의의 요소는 그런 기능을 수행하기 위해 소프트웨어를 실행하기 위한 적절한 회로와 결합된 예를 들면, a) 그런 기능을 수행하는 회로 요소의 조합 또는 b) 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 그런 기능을 수행하는 임의의 방식을 포괄하는 것으로 의도된다. 이러한 청구항들에 의해 정의되는 본 발명의 원리는 다양한 열거된 수단에 의해 제공되는 기능이 조합되고, 청구항들이 요구하는 방식으로 함께 배치된다는 사실에 존재한다. 따라서, 이러한 기능을 제공할 수 있는 임의의 수단은 여기서 도시된 수단과 등가물이라고 간주된다.
본 명세서에서 본 발명의 원리의 "하나의 실시예"라는 참조는 실시예와 관련해서 설명되는 특별한 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 본 명세서 전체를 통해 다양한 장소에서 나타나는 "하나의 실시예"라는 표현의 기재는 필연적으로 모두가 동일한 실시예를 참조하는 것은 아니다.
또한, 본 발명의 원리의 하나 이상의 실시예가 여기서 MPEG-4 AVC 표준에 대해 설명되지만, 본 발명의 원리는 단지 이 표준에만 제한되지 않으며, 따라서, 본 발명의 정신을 유지하면서, MPEG-4 AVC 표준의 확장을 포함하는, 움직임 및/또는 불일치 보상이 적용되는, 다른 비디오 코딩 표준, 권장안, 및 이러한 것들의 확장에 대해 이용될 수 있다는 것이 인식되어야 한다.
여기서 사용되는 것처럼, "참조 화상"이란 용어는 샘플이 인-루프 필터(예를 들면, 디블로킹 필터와 같은)에 적용된 후에(즉, 후속하여), 또는 그러한 인-루프 필터가 전혀 적용되지 않을 때, 인터-예측을 위한 사용을 위해 획득되는 화상을 지칭한다.
도 1을 보면, 적응적 참조 필터링을 하는 예시적인 다중-뷰 비디오 코딩(MVC) 인코더가 참조 번호(100)에 의해 일반적으로 지시된다. 인코더(100)는 변환기(110)의 입력과 신호 통신으로 연결된 출력을 갖는 결합기(105)를 포함한다. 변환기(110)의 출력은 양자화기(115)의 입력과 신호 통신으로 연결된다. 양자화 기(115)의 출력은 엔트로피 코더(120)의 제1 입력과 역양자화기(125)의 입력과 신호 통신으로 연결된다. 역양자화기(125)의 출력은 역변환기(130)의 입력과 신호 통신으로 연결된다. 역변환기(130)의 출력은 결합기(135)의 제1 비반전 입력과 신호 통신으로 연결된다. 결합기(135)의 출력은 디블로킹(deblocking) 필터(150)와 신호 통신으로 연결된다. 디블로킹 필터(150)의 출력은 디코딩된 참조 화상 저장고(155)의 입력과 신호 통신으로 연결된다. 디코딩된 참조 화상 저장고(155)의 출력은 적응적 필터 추정기(170)의 제1 입력과 참조 화상 필터(165)의 제1 입력과 신호 통신으로 연결된다. 적응적 필터 추정기(170)의 출력은 참조 화상 필터(165)의 제2 입력과 엔트로피 코더(120)의 제3 입력과 신호 통신으로 연결된다. 참조 화상 필터(165)의 출력은 필터링된 참조 화상 저장고(160)의 입력과 신호 통신으로 연결된다. 필터링된 참조 화상 저장고(160)의 출력은 움직임/불일치 보상기(175)의 제1 입력과 움직임/불일치 추정기(180)의 제1 입력과 신호 통신으로 연결된다. 움직임/불일치 추정기(180)의 출력은 움직임/불일치 보상기의 제2 입력과 엔트로피 코더(120)의 제2 입력과 신호 통신으로 연결된다. 움직임/불일치 보상기(175)의 출력은 결합기(105)의 반전 입력과 결합기(135)의 비반전 입력과 신호 통신으로 연결된다. 결합기(105)의 비반전 입력, 움직임/불일치 추정기(180)의 제2 입력, 및 적응적 필터 추정기(170)의 제2 입력은 인코더(100)로의 입력으로서 이용가능하다. 엔트로피 코더(120)의 출력은 인코더(100)의 출력으로서 이용가능하다.
도 2를 보면, 적응적 참조 필터링을 하는 예시적인 다중-뷰 비디오 코딩(MVC) 디코더가 일반적으로 참조 번호(200)에 의해 지시된다. 디코더(200)는 역 양자화기(210)의 입력과 신호 통신으로 연결된 제1 출력을 갖는 엔트로피 디코더(205)를 포함한다. 역양자화기(210)의 출력은 역변환기(215)의 입력과 신호 통신으로 연결된다. 역변환기(215)의 출력은 결합기(220)의 제1 비반전 입력과 신호 통신으로 연결된다. 결합기(220)의 출력은 디블로킹 필터(225)의 입력과 신호 통신으로 연결된다. 디블로킹 필터(225)의 출력은 디코딩된 참조 화상 저장고(230)의 입력과 신호 통신으로 연결된다. 디코딩된 참조 화상 저장고(230)의 출력은 참조 화상 필터(235)의 제1 입력과 신호 통신으로 연결된다. 참조 화상 필터(235)의 출력은 필터링된 참조 화상 저장고(240)의 입력과 신호 통신으로 연결된다. 필터링된 참조 화상 저장고(240)의 출력은 움직임/불일치 보상기(245)의 제1 입력과 신호 통신으로 연결된다. 움직임/불일치 보상기(245)의 출력은 결합기(220)의 제2 비반전 입력에 연결된다. 엔트로피 디코더(205)의 제2 출력은 참조 화상 필터(235)의 제2 입력과 신호 통신으로 연결된다. 엔트로피 디코더(205)의 제3 출력은 움직임/불일치 보상기(245)의 제2 입력과 신호 통신으로 연결된다. 엔트로피 디코더(205)의 입력은 디코더(200)의 입력으로서 이용가능하다. 디블로킹 필터(225)의 출력은 디코더(200)의 출력으로서 이용가능하다.
본 발명의 원리에 따라, 적응적 참조 필터링을 위한 방법 및 장치가 제공된다. 이롭게, 본 명세서에서 개시된 방법과 장치는 적응적 참조 필터링을 하기 위한 종래 기술 접근법보다 적어도 여기서 다음에 기재된 이유 때문에 예측적 비디오 코딩을 위해 더 나은 예측 신호를 제공한다.
일 실시예에서, 다수의 필터가 이미지의 상이한 부분들에서의 다양한 불일치 를 다루기 위해 적응적으로 설계된다.
일 실시예에서, 인코딩될 현재 화상과 참조 화상에 기초해서, 필터의 세트가 이러한 두 개의 화상간의 불일치를 보상하기 위해 적응적으로 계산된다. 그런 후에, 계산된 필터는 참조 화상이 예측을 위해 사용되기 전에 이 참조 화상에 적용된다. 예를 들면, 필터 동작은 참조 화상의 필터링된 버전을 생성하기 위해 원래의 샘플링 그리드상의 디코딩된 참조 화상에 적용된다. 이 필터는 필터링된 픽셀을 가진 새로운 참조가 예측적 비디오 코딩을 위해 더 나은 예측을 제공하기 위해 생성되는 방식으로 동작한다.
예를 들면, 참조 프레임 자체에 대한 필터링은 선명도/흐릿함 불일치와 같은 불일치를 더 잘 보상할 수 있을 것이다. 또한, 적응적 참조 필터링이 원래 이미지 해상도에 적용되므로, 적응적 참조 필터링은 적응적 보간 필터링보다 계산상의 이익을 가진다.
서브-픽셀 참조를 위해, 두 개의 예시적인 접근법이 제공된다. 하나의 접근법은 표준적인 AVC 보간 필터를 사용하지만 위와 같이 얻어진 새로운 참조 화상으로부터의 픽셀의 기초해서 서브-픽셀을 생성하는 것이다. 다른 접근법은 서브-픽셀 참조를 생성하기 위해 적응적 필터를 또한 사용하는 것이다.
본 발명의 원리가 정규적 단일-뷰 비디오 코딩에서의 움직임 보상된 예측과 다중-뷰 비디오 코딩(MVC)에서 불일치 보상된 예측 모두에 이롭게 적용될 수 있다는 것이 인식되어야 한다. 본 발명의 원리의 실시예에 따른 하나의 예시에서, 우리는 다중-뷰 비디오 코딩에서 교차-뷰 예측에 이 방식을 적용하며, 여기서 불일치 정보는 필터의 개수를 결정하는데 있어서와, 필터 계수를 계산하는데 있어서 힌트로서 사용된다. 이 방식은 필드의 깊이 변경 및/또는 정규 비디오 코딩에서 흐릿함 변경을 보상하기 위해 또한 사용될 수 있다.
본 발명의 원리에 따라 사용될 수 있는 필터 유형에 대해서, 본 발명의 하나 이상의 실시예가 여기서 유한 임펄스 응답(FIR) 선형 필터의 사용에 대해서 설명되지만, 무한 임펄스 응답(IIR) 필터와 비선형 필터를 포함하는(하지만 이 필터들에만 제한되지는 않음) 다른 유형의 필터가 본 발명의 원리의 정신을 유지하면서 또한 채용될 수 있다는 것이 인식되어야 한다. 또한, 시간적 방법이 다수의 디코딩된 참조 화상을 관련시키는 3차원 필터와 같은 필터의 설계에 고려될 수 있다는 것이 인식되어야 한다.
적응적 필터가 추정된 후에, 실제 필터링 동작은 움직임/불일치 보상 프로세스 동안 즉석에서(on the fly) 로컬 기반으로 적용될 수 있거나, 전체 참조 화상이 먼저 필터링되고, 보상을 위해 사용되기 전에 저장될 수 있다.
일 실시예에서, 인코딩 프로세스 동안, 하나 이상의 필터가 이미지의 상이한 부분들내의 다양한 불일치를 보상하기 위해 클러스터링/단편화 알고리즘에 의해 적응적으로 설계된다. 움직임/불일치 보상은 필터링된 참조 프레임을 가지고 수행될 수 있다. 각 프레임에 대한 필터 계수와 주어진 프레임 내에서 각 블록에 대한 필터의 선택은 정확한 재구성을 위해 디코더에 전송된다. 우리의 적응적 필터의 필터 계수는 더 나은 효율성을 위해 상이하게 코딩될 수 있다. 여기서 개시된 참조 화상 관리 방법은 블록 레벨 필터 선택을 신호하기 위해 사용될 수 있다. MPEG-4 AVC 표 준에 관련된 특별한 실시예에서, 이 표준에 대응하는 참조 인덱싱 매커니즘은 특별한 블록을 코딩하기 위해 어느 필터를 사용할 지를 신호하는 목적을 위해 사용될 수 있다. 디코더에 대해서, 적응적 필터는 수신된 계수를 가지고 생성된다. 그런 후에, 대응하는 새로운 참조는 비디오 시퀀스를 적절히 디코딩하기 위해 생성될 수 있다.
일 실시예에 따라, 적응적 필터 추정은 2개의 단계들, 즉, 필터 연관 단계와 필터 결정 단계를 포함한다.
필터 연관 단계에 관해서, 다수의 필터가 이미지의 상이한 부분에서 다양한 불일치를 모델링하기 위해 각각의 참조 화상에 대해서 인에이블링된다. 이런 목적으로, 현재의 화상은 다수의 그룹으로 단편화된다. 각 그룹은 나중에 추정될 하나의 적응적 필터와 연관될 것이다. 단편화는 입력의 개수에 기초해서 달성될 수 있다. 예시적인 입력은 움직임 정보, 불일치 정보, 로컬 신호 특성, 및 예측 신호 특성을 포함하지만 여기에 제한되지는 않는다. 필터 연관을 위한 블록 단편화의 하나의 특별한 실시예는 전경(foreground)을 배경(background)으로부터 분리시키고, 그런 후에 전경과 배경을 두 개의 필터와 제각각 연관시키는 것이다. 그룹 분할의 선택적인 후처리 단계는 필터 연관 결과를 향상시키기 위해 적용될 수 있다. 예를 들면, 필터 연관 프로세스는 이미지를 과도하게 단편화시켜서, 너무 많은 필터를 필요하게 하는데, 이는 선택적인 후처리 단계에서 더 작은 개수의 필터로 더 집단화될 수 있다.
필터 결정에 대해서, 이전 (필터 연관) 단계로부터 유도된 각각의 서브-화상 그룹에 대해, 필터 계수는 예측 오류를 위한 비용 함수를 최소화함으로써 계산된다. 현재 필터와 연관된 픽셀만이 추정 프로세스에 관련될 것이다. 비용 함수는 예를 들면, 제곱 차이의 합(SSD) 및/또는 절대 차이의 합(SAD)과 같은 절대 픽셀 차이의 임의의 증가하지 않는 함수일 수 있다.
도 3을 보면, 인코더에서 적응적 필터를 추정하기 위한 예시적인 방법이 참조 번호(300)에 의해 일반적으로 지시된다.
방법(300)은 제어를 기능 블록(310)으로 넘기는 시작 블록(305)을 포함한다. 기능 블록(310)은 참조 목록 구성을 수행하고, 제어를 결정 블록(315)으로 넘긴다. 결정 블록(315)은 VRP가 인에이블링되는지를 결정한다. 만약 그렇다면, 제어는 기능 블록(320)으로 넘어간다. 그렇지 않다면, 제어는 기능 블록(335)으로 넘어간다.
기능 블록(320)은 필터 연관을 수행하고, 제어를 기능 블록(325)으로 넘긴다. 기능 블록(325)은 필터 결정을 수행하고, 제어를 기능 블록(330)으로 넘긴다. 기능 블록(330)은 기준 화상 필터링을 수행하고, 제어를 기능 블록(335)으로 넘긴다.
기능 블록(335)은 VRP가 인에이블링되는지를 신호하고, 만약 그렇다면, VRP 생성을 위한 파라미터를 신호하고, 그런 후에 제어를 기능 블록(340)으로 넘긴다. 기능 블록(340)은 현재 화상을 인코딩하고, 제어를 종료 블록(399)으로 넘긴다.
기능 블록(320)에 의해 수행되는 필터 연관은 예를 들면 (예를 들면, 움직임 정보, 불일치 정보, 로컬 신호 특성, 및 예측 신호 특성에 기초해서) 현재의 화상을 다수의 그룹으로 단편화하는 단계, 각각의 그룹을 하나의 필터와 연관시키는 단 계, 그리고 선택적으로 후처리 클러스터링 단계를 수행하는 단계를 포함할 수 있다.
기능 블록(325)에 의해 수행되는 필터 결정은 예를 들면, 예측 오류를 위한 비용 함수(예, SSD 및/또는 SAD)를 최소화함으로써 각각의 서브-화상 그룹에 대해서, 필터 계수를 계산하는 단계를 포함할 수 있다.
도 4를 보면, 디코더에서 적응적 필터를 추정하기 위한 예시적인 방법이 참조 번호(400)에 의해 일반적으로 지시된다.
이 방법(400)은 제어를 기능 블록(410)으로 전달하는 시작 블록(405)을 포함한다. 기능 블록(410)은 VRP가 인에이블링되는지를 결정하고, 만약 그렇다면 VRP 생성을 위한 파라미터를 결정하고, 그런 후에 제어를 기능 블록(415)에 전달한다. 기능 블록(415)은 참조 목록 구성을 수행하고, 제어를 결정 블록(420)으로 전달한다. 결정 블록(420)은 VRP가 인에이블링되는지를 결정한다. 만약 그렇다면, 제어는 기능블록(425)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(430)으로 전달된다.
기능 블록(425)은 참조 화상 필터링을 수행하고 제어를 기능 블록(430)으로 전달한다.
기능 블록(430)은 현재 화상을 디코딩하고, 제어를 종료 블록(499)으로 전달한다.
MVC에서 교차-뷰 예측을 위한 적응적 참조 필터링
여기서 개시된 본 방법과 장치는 움직임 보상 및/또는 불일치 보상을 하는 임의의 비디오 코딩 시스템에서 사용될 수 있다. 다중-뷰 비디오 코딩(MVC)에서 불일치 보상은 현재 뷰 화상을 예측하기 위해 다른 뷰로부터 디코딩 화상을 활용한다. 다중-뷰 비디오 코딩 시스템에서 이종(heterogeneous) 및/또는 완벽하게 조정되지 않은 카메라는 뷰들 간에 더 많은 분량의 불일치를 잠재적으로 야기할 수 있다. 더 나아가, 불일치의 정도와 특성은 장면의 상이한 부분들에 대해서 상이할 수 있다. 위의 제2 경우에서 설명된 초점 불일치 문제점에 대해서, 다양한 선명도/흐릿함 부조화(incongruity)가 상이한 깊이를 가진 물체에 대해 나타날 것이다. 다중-뷰 비디오 코딩에 대한 일 실시예에서, 불일치 필드는 다수의 필터들을 적응적으로 설계하기 위해 이용될 수 있다.
이전에 설명된 것처럼, 참조 필터링에서 다수의 필터를 사용하는 것은 상이한 장면 깊이를 가진 물체에 대한 다양한 불일치를 보상할 수 있다. 다중-뷰 비디오 코딩 시스템에서 두 개의 뷰로부터의 한 쌍의 이미지에 대해서, 카메라에 더 근접한 물체(더 짧은 깊이)는 더 큰 불일치를 가지는 한편, 더 멀리 떨어진 물체(더 긴 깊이)는 더 작은 불일치를 가질 것이다. 이러한 특성은 상이한 깊이를 갖는 물체를 연관시키기 위한 하나의 가능한 방안으로서 일 실시예에서 사용되는데, 이 방안은 물체의 불일치를 보고 그 상대적인 불일치에 따라 연관(들)을 수행하는 것을 수반한다.
일 실시예에서, 우리는 상이한 깊이 레벨 내에서 물체를 식별하고, 그런 후에 다양한 깊이 레벨에 대한 필터 계수를 계산한다. 불일치 정보를 가지고, 우리는 상이한 깊이 레벨 내에서 물체를 식별하기 위한 다양한 접근법을 사용하고, 다양한 깊이 레벨에 대한 필터 계수를 계산할 수 있다. 픽셀-레벨에서 정밀한/스무스한(smooth) 불일치 맵(map)을 발견하기 위해 정교한 방법이 사용되는 컴퓨터 비전 분야의 종래 대부분의 연구와는 다르게, 여기서 우리는 물체를 상이한 깊이 그룹으로 분류하기 위해 특정한 불일치 범위를 발견하기를 원한다. 간략성과 예시를 위해서, 일 실시예에서, 우리는 초기 불일치 보상으로부터 획득된 블록 방식의(block-wise) 불일치 벡터의 x-성분을 기초로 하는 클러스터링 방법을 시연한다. 이 방법은 동일 수평선상에 배열된 카메라를 구비한 다중-뷰 시스템에 적합하다. 카메라 배열과 같은 2차원(2D) 카메라 배치를 위해서, 클러스터링은 불일치 벡터의 x와 y 방향 양쪽 모두로 연장될 수 있다.
일 실시예에서 불일치 벡터를 사용해서 블록 단편화를 달성하기 위해, 우리는 가우스 혼합 모형(GMM)을 사용하는 클러스터링 접근법을 제안한다. 기대-최대화 알고리즘(EM 알고리즘)은 GMM 클러스터링을 달성하기 위해 적용될 수 있다. 이 방법은 다수의 가우스 분포를 가지고 불일치 벡터의 x-성분의 히스토그램을 모델링할 것이다. 이 방법은 각각의 가우스 성분의 평균, 분산, 및 이전(prior) 확률을 제공한다.
가우스 혼합 모형을 사용할 때 다수의 이점이 있다. 이러한 이점 중 일부가 이제 설명될 것이다.
가우스 혼합 모형을 사용할 때 한 가지 이점에 대해서, 비디오 코딩에서 불일치 추정/보상은 최저 레이트-왜곡 비용과 매칭되는 것을 선택함으로서 일반적으 로 달성된다. 획득된 불일치 벡터는 물체의 실제적인 변위를 반영하지 않을 가능성이 있다. GMM은 이러한 무작위 잡음 벡터를 통상적으로 매우 큰 분산과 매우 작은 이전 확률을 갖는 가우스 곡선으로 모델링 하기 위한 능력을 갖는다. 혼합 모형으로부터 이러한 가우스 성분을 제거하는 것은 클러스터링이 잡음에 더 많이 내성이 있게 한다.
각각의 가우스 성분에 대해 지정된 평균과 분산을 갖는 가우스 혼합 모형을 사용할 때의 또 다른 이점에 대해서, 우리는 불일치 벡터를 더 높은 신뢰도를 갖는 상이한 그룹으로(예를 들면, 평균 ±하나의 표준 편차) 매핑하기 위해 간격을 발견할 수 있다.
가우스 혼합 모형을 사용할 때의 또 다른 이점에 대해서, 더 큰 분산을 갖는 가우스는 너무 큰 불일치의 범위를 커버할 수 있어서, 이 가우스는 다른 더 선명한 형상의 가우스와 겹친다. 이것은 평균을 분산과 이전 확률과 조합해서, 상이한 가우스 성분의 평균 위치를 봄으로써 쉽게 검사될 수 있다. 그런 후에, 각각의 그룹과 연관된 불일치 범위는 그에 맞게 조정될 수 있다.
불일치 벡터가 깊이 그룹으로 클러스터링된 후에, 다수의 필터가 상이한 그룹과 연관된 이미지 블록에 기초해서 계산된다. 일 실시예에서, 이런 절차는 각각의 깊이 그룹 DGi에 대해 다음과 같이 제곱 예측 오류를 최소화함으로써 계수 hij를 가진 필터를 계산하는 단계를 수반한다:
Figure 112009002889303-PCT00001
수학식 1에서, C는 인코딩될 현재 프레임이고,
Figure 112009002889303-PCT00002
는 재구성된 참조 프레임이다. 아래첨자는 인덱스는 픽셀 위치를 나타낸다. (dx, dy)는 초기 불일치 벡터의 정수 부분이다. 수학식 1은 각각의 hij에 대해 미분 계수를 취함으로써 풀 수 있다.
일 실시예에 따라, 우리는 2차원의 분리가능하지 않은 필터를 사용한다. 하지만, 여기서 제공된 본 발명의 원리의 교시가 주어졌을 때, 당업자는 본 발명의 원리의 정신을 유지하면서 이런 유형 및 다양한 다른 유형의 필터가 본 발명의 원리에 따라 사용될 수 있다는 것을 예상할 것이다. 2차원의 분리가능하지 않은 필터의 크기와 형태는 m과 n의 값을 변경시킴으로서 쉽게 지정될 수 있다. 예를 들면, m=n=2일 때, 필터는 제곱 5x5 필터일 것이며, 여기서 필터의 중심은 필터링될 픽셀에 위치한다. 필터는 참조 프레임을 필터링하기 위해 (±2,±2) 윈도우 내의 픽셀의 가중화된 합을 취한다. 필터는 실제 완전한 픽셀이 불일치 보상을 위한 참조의 다른 하나의 버전을 생성하기 위해 필터링된다는 의미에서 참조 프레임에 대해 작동하고 있다는 것이 주목되어야 한다.
적응적 필터를 적용하여 획득된 새로운 참조를 사용해, 제2 불일치 보상이 수행된다. 그런 후에 불일치 추정은 상이한 필터에 위해 생성된 다수의 참조들 중에서 최적의 매칭을 찾는다. 필터 계수는 더 높은 코딩 효율을 위해 상이하게 코딩 될 수 있다. 다중-뷰 비디오 코딩 시스템으로부터 2개의 뷰가 주어졌을 때, 이러한 두 개의 카메라 내의 본래의 불일치는 시간에 따라 급격하게 변하지 말아야 한다. 우리는 이전 시간 스템프에서 계수를 가지고 현재 시간 스템프에서 계수를 상이하게 코딩할 수 있다. 블록-기반의 필터 선택을 신호하기 위한 것으로서, 참조 인덱싱 매커니즘이 MPEG-4 AVC 표준에 기초한 일 실시예를 위해 사용될 수 있다.
단일-뷰 비디오코딩에서 적응적 필터링
일 실시예에서 이전에 설명된 "제1 경우"와 같은 초점 변경이 있는 비디오를 위해서, 로컬 기반의 설계 접근법이 적용될 수 있다. 초기에, 다수의 필터가 이미지의 상이한 부분에 대해서 국부적으로 계산될 수 있다. 움직임이 상이한 물체를 식별하기 위한 충분한 정보를 제공하지 않을 수 있으므로, 우리는 분할이 충분히 작을 때, 국부적인 효과를 획득한다. 더 나아가, 이러한 필터는 그룹을 형성하기 위해 함께 클러스터링될 수 있는데, 여기서 후속적으로 각각의 그룹은 대응되는 신호 블록을 사용해서 자기 자신의 필터를 계산할 것이다.
본 발명의 많은 수반되는 이점/특징의 일부에 대한 설명이 이제 주어질 것인데, 이러한 이점/특징의 일부는 위에서 언급되었다. 예를 들면, 하나의 이점/특징은 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치인데, 여기서 인코더는 적어도 하나의 필터링된 참조 화상을 제각각 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하고, 적어도 하나의 필터링된 참조 화상을 사용해서 적어도 하나의 화상을 예측적으로 코딩한다. 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 적어도 하나의 샘플에 후속되거나, 인-루프 필터에 적용되는 적어도 하나의 샘플이 없이 인터-예측을 위해 사용되는 화상이다.
다른 하나의 이점/특징은 위에서 설명된 것과 같은 인코더를 구비한 장치인데, 여기서 인코더는 적어도 하나의 화상과 적어도 하나의 참조 화상에 대응되는 정보에 기초해서 적어도 하나의 참조 화상에 적용될 필터 계수와 필터 개수 중 적어도 하나를 적응적으로 결정한다.
또 다른 하나의 이점/특징은 위에서 설명된 것과 같이 적용될 필터 계수와 필터의 개수를 적응적으로 결정하는 인코더를 구비한 장치인데, 여기서 정보는 적어도 하나의 화상과 적어도 하나의 참조 화상에 대응하는 움직임 정보와 불일치 정보 중 적어도 하나를 포함한다.
또한, 다른 이점/특징은 위에서 설명된 것과 같이 적용될 필터 계수와 필터의 개수를 적응적으로 결정하는 인코더를 구비한 장치인데, 여기서 정보는 적어도 하나의 화상과 적어도 하나의 참조 화상에 대응하는 명암도(intensity) 정보와 컬러 정보 중 적어도 하나를 포함한다.
더 나아가, 다른 하나의 이점/특징은 위에서 설명된 것과 같이 적용될 필터 계수와 필터의 개수를 적응적으로 결정하는 인코더를 구비한 장치인데, 여기서 정보는 클러스터링 방법과 단편화 방법 중 적어도 하나의 방법을 사용해서 획득된다.
또한, 다른 이점/특징은 인코더를 구비한 장치인데, 여기서 정보는 위에서 설명된 것과 같은 클러스터링 방법과 단편화 방법 중 적어도 하나를 사용해서 획득 되고, 클러스터링 방법과 단편화 방법 중 적어도 하나는 기대-최대화 방법에 기초한다.
추가적으로, 다른 이점/특징은 인코더를 구비한 장치인데, 여기서 정보는 위에서 설명된 것과 같이 클러스터링 방법과 단편화 방법 중 적어도 하나를 사용해서 획득되고, 클러스터링 방법과 단편화 방법 중 적어도 하나는 가우스 혼합 모형에 기초한다.
또한 다른 이점/특징은 위에서 설명된 것과 같은 인코더를 구비한 장치인데, 여기서 인코더는 적어도 하나의 상이한 화상의 부분에서 다양한 불일치를 획득하기 위해 적어도 하나의 화상의 상이한 부분을 복수의 필터와 연관시킨다.
더 나아가, 다른 이점/특징은 위에서 설명된 것과 같은 인코더를 구비한 장치인데, 여기서 인코더는 적어도 하나의 필터링된 참조 화상에 대해 완전한(integer) 픽셀과 서브-픽셀 중 적어도 하나를 생성하기 위해 적어도 하나의 적응적 필터를 사용한다.
또한, 다른 이점/특징은 위에서 설명된 것과 같은 인코더를 구비한 장치인데, 여기서 인코더는 인코더의 공간적 구조와 시간적 구조 중 적어도 하나에 기초해서 적어도 하나의 참조 화상을 적응적으로 필터링하기 위해 필터 계수를 상이하게 인코딩한다.
추가적으로, 다른 이점/특징은 위에서 설명된 것과 같은 인코더를 구비한 장치인데, 여기서 인코더는 적어도 하나의 필터링된 참조 화상 중 다수의 화상을 인에이블시키고, 이미지 블록-기반으로 적어도 하나의 필터링된 참조 화상의 다수의 화상 중 하나 이상을 적응적으로 활용한다.
또한, 다른 이점/특징은 위에서 설명된 것과 같은 인코더를 구비한 장치인데, 여기서 적응적 필터에서 사용된 하나 이상의 필터는 1차원, 2차원, 및 3차원 중 하나이다.
본 발명의 원리의 이런 특징과 이점 그리고 다른 특징과 이점은 여기서 주어진 교시에 기초해서 당업자에 의해 쉽게 확인될 수 있다. 본 발명의 원리의 교시는 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이것들의 조합의 다양한 형태로 구현될 수 있다.
가장 바람직하게, 본 발명의 원리의 교시는 하드웨어 및 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 유닛 상에 실체로서 구체화된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 기계로 업로딩될 수 있고, 이 기계에 의해 실행될 수 있다. 바람직하게, 기계는 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 액세스 메모리("RAM"), 그리고 입출력("I/O") 인터페이스와 같은 하드웨어를 구비한 컴퓨터 플랫폼상에 구현된다. 컴퓨터 플랫폼은 운영 체제와 마이크로명령어 코드를 또한 포함할 수 있다. 본 명세서에서 설명된 다양한 프로세스와 기능은 CPU에 의해 실행될 수 있는, 마이크로명령어 코드의 일부, 애플리케이션 프로그램의 일부, 또는 이것들의 임의의 조합일 수 있다. 또한, 다양한 다른 주변 유닛은 추가적인 데이터 저장 유닛과 프린팅 유닛과 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부된 도면들에서 묘사된 구성 시스템 요소와 방법 중 일부는 소프트웨어로 바람직하게 구현되기 때문에, 시스템 요소 또는 프로세스 기능 블록간의 실제 연결은 본 발명의 원리가 프로그래밍되는 방식에 따라서 다를 수 있다는 것이 또한 이해되어야 한다. 여기서 주어진 교시를 가지고, 당업자는 본 발명의 원리의 이러한 구현 및 유사한 구현을 예상할 수 있을 것이다.
비록 예시적인 실시예가 첨부된 도면들을 참조해서 본 명세서에서 설명되었지만, 본 발명의 원리는 그러한 세세한(precise) 실시예에 제한되지 않는다는 것이 이해되어야 하고, 본 발명의 원리의 범위 또는 정신으로부터 이탈하지 않으면서 다양한 변경 및 수정이 당업자에 의해 여기서 성취될 수 있다는 것이 이해되어야 한다. 모든 이러한 변경 및 수정은 첨부된 청구항들에 기재된 본 발명의 원리의 범위 내에 포함되는 것이 의도된다.
본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 이용가능하고, 보다 구체적으로는 적응적 참조 필터링을 위한 방법 및 장치에 이용가능하다.

Claims (44)

  1. 적어도 하나의 화상을 인코딩하기 위한 인코더(100)를 포함하는 장치로서,
    상기 인코더는 제각각 적어도 하나의 필터링된 참조 화상을 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하고, 상기 적어도 하나의 필터링된 참조 화상을 사용해서 상기 적어도 하나의 화상을 예측적으로 코딩하며, 상기 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프(in-loop) 필터에 적용되는 상기 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 상기 적어도 하나의 샘플이 없이 인터-예측(inter-prediction)을 위해 이용되는 화상인, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  2. 제1항에 있어서, 상기 인코더(100)는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 정보에 기초해서 상기 적어도 하나의 참조 화상에 적용될 필터 계수 및 필터의 개수 중 적어도 하나를 적응적으로 결정하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  3. 제2항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 움직임 정보 및 불일치(disparity) 정보 중 적어도 하나를 포함하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  4. 제2항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 명암도(intensity) 정보 및 컬러 정보 중 적어도 하나를 포함하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  5. 제2항에 있어서, 상기 정보는 클러스터링(clustering) 방법 및 단편화(segmentation) 방법 중 적어도 하나를 이용해서 획득되는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  6. 제5항에 있어서, 상기 클러스터링 방법 및 상기 단편화 방법 중 적어도 하나는 기대-최대화 방법에 기초하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  7. 제5항에 있어서, 상기 클러스터링 방법 및 상기 단편화 방법 중 적어도 하나는 가우스 혼합 모델에 기초하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  8. 제1항에 있어서, 상기 인코더(100)는 상기 적어도 하나의 화상의 상이한 부분에 있는 다양한 불일치를 획득하기 위해 상기 적어도 하나의 화상의 상이한 부분과 복수의 필터를 연관시키는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  9. 제1항에 있어서, 상기 인코더(100)는 상기 적어도 하나의 필터링된 참조 화상에 대해서 완전한(integer) 픽셀 및 서브-픽셀 중 적어도 하나를 생성하기 위해 적어도 하나의 적응적 필터를 이용하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  10. 제1항에 있어서, 상기 인코더(100)는 상기 인코더의 공간적 구조 및 시간적 구조 중 적어도 하나에 기초해서 상기 적어도 하나의 참조 화상의 적응적 필터링을 위해 필터 계수를 다르게 인코딩하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  11. 제1항에 있어서, 상기 인코더(100)는 상기 적어도 하나의 필터링된 참조 화상 중 복수의 화상을 인에이블(enable)시키고, 이미지 블록 기반으로 상기 적어도 하나의 필터링된 참조 화상의 복수의 화상 중 하나 이상을 적응적으로 활용하는, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  12. 제1항에 있어서, 상기 적응적 필터링에서 이용되는 하나 이상의 필터는 1차원, 2차원, 및 3차원 중 하나인, 적어도 하나의 화상을 인코딩하기 위한 인코더를 포함하는 장치.
  13. 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법으로서,
    상기 인코딩 단계는 제각각 적어도 하나의 필터링된 참조 화상을 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하는 단계와, 상기 적어도 하나의 필터링된 참조 화상을 사용해서 상기 적어도 하나의 화상을 예측적으로 코딩하는 단계를 포함하고, 상기 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 상기 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 상기 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상인(330), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  14. 제13항에 있어서, 상기 인코딩 단계는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 정보에 기초해서 상기 적어도 하나의 참조 화상에 적용될 필터 계수 및 필터의 개수 중 적어도 하나를 적응적으로 결정하는 단계를 포함하는(325), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  15. 제14항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 움직임 정보와 불일치 정보 중 적어도 하나를 포함하는(320), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  16. 제14항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 명암도 정보 및 컬러 정보 중 적어도 하나를 포함하 는(320), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  17. 제14항에 있어서, 상기 정보는 클러스터링 방법 및 단편화(segmentation) 방법 중 적어도 하나를 이용해서 획득되는(320), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  18. 제17항에 있어서, 상기 클러스터링 방법 및 상기 단편화 방법 중 적어도 하나는 기대-최대화 방법에 기초하는(320), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  19. 제17항에 있어서, 상기 클러스터링 방법 및 상기 단편화 방법 중 적어도 하나는 가우스 혼합 모델에 기초하는(320), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  20. 제13항에 있어서, 상기 인코딩 단계는 상기 적어도 하나의 화상의 상이한 부분에 있는 다양한 불일치를 획득하기 위해 상기 적어도 하나의 화상의 상이한 부분과 복수의 필터를 연관시키는 단계를 포함하는(320), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  21. 제13항에 있어서, 상기 인코딩 단계는 상기 적어도 하나의 필터링된 참조 화 상에 대해서 완전한 픽셀과 서브-픽셀 중 적어도 하나를 생성하기 위해 적어도 하나의 적응적 필터를 이용하는(330), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  22. 제13항에 있어서, 상기 방법은 인코더에 의해 수행되고, 상기 인코딩 단계는 상기 인코더의 공간적 구조 및 시간적 구조 중 적어도 하나에 기초해서 상기 적어도 하나의 참조 화상의 적응적 필터링을 위해 필터 계수를 다르게 인코딩하는(340), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  23. 제13항에 있어서, 상기 인코딩 단계는 상기 적어도 하나의 필터링된 참조 화상 중 복수의 화상을 인에이블(enable)시키고, 이미지 블록 기반으로 상기 적어도 하나의 필터링된 참조 화상의 복수의 화상 중 하나 이상을 적응적으로 활용하는(340), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  24. 제13항에 있어서, 상기 적응적 필터링에서 이용되는 하나 이상의 필터는 1차원, 2차원, 및 3차원 중 하나인(325), 적어도 하나의 화상을 인코딩하는 단계를 포함하는 방법.
  25. 적어도 하나의 화상을 디코딩하기 위한 디코더(200)를 포함하는 장치로서,
    상기 디코더는 제각각 적어도 하나의 필터링된 참조 화상을 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하고, 상기 적어도 하나의 필터링된 참조 화상을 사용해서 상기 적어도 하나의 화상을 예측적으로 디코딩하며, 상기 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 상기 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 상기 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상인, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  26. 제25항에 있어서, 상기 디코더(200)는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 정보에 기초해서 상기 적어도 하나의 참조 화상에 적용될 필터 계수 및 필터의 개수 중 적어도 하나를 결정하는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  27. 제26항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 움직임 정보와 불일치 정보 중 적어도 하나를 포함하는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  28. 제26항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 명암도 정보 및 컬러 정보 중 적어도 하나를 포함하는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  29. 제25항에 있어서, 상기 디코더(200)는 상기 적어도 하나의 화상의 상이한 부분에 있는 다양한 불일치를 획득하기 위해 상기 적어도 하나의 화상의 상이한 부분과 복수의 필터를 연관시키는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  30. 제25항에 있어서, 상기 디코더(200)는 상기 적어도 하나의 필터링된 참조 화상에 대해서 완전한 픽셀과 서브-픽셀 중 적어도 하나를 생성하기 위해 적어도 하나의 적응적 필터를 이용하는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  31. 제25항에 있어서, 상기 디코더(200)는 상기 디코더의 공간적 구조 및 시간적 구조 중 적어도 하나에 기초해서 상기 적어도 하나의 참조 화상의 적응적 필터링을 위해 필터 계수를 다르게 디코딩하는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  32. 제25항에 있어서, 상기 디코더(200)는 상기 적어도 하나의 필터링된 참조 화상 중 복수의 화상을 인에이블(enable)시키고, 이미지 블록 기반으로 상기 적어도 하나의 필터링된 참조 화상의 복수의 화상 중 하나 이상을 적응적으로 활용하는, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  33. 제25항에 있어서, 상기 적응적 필터링에서 이용되는 하나 이상의 필터는 1차원, 2차원, 및 3차원 중 하나인, 적어도 하나의 화상을 디코딩하기 위한 디코더를 포함하는 장치.
  34. 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법으로서,
    상기 디코딩 단계는 제각각 적어도 하나의 필터링된 참조 화상을 획득하기 위해 적어도 하나의 참조 화상의 적응적 필터링을 수행하는 단계와, 상기 적어도 하나의 필터링된 참조 화상을 사용해서 상기 적어도 하나의 화상을 예측적으로 디코딩하는 단계를 포함하며, 상기 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 상기 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 상기 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상인(425), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  35. 제34항에 있어서, 상기 디코딩 단계는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 정보에 기초해서 상기 적어도 하나의 참조 화상에 적용될 필터 계수 및 필터의 개수 중 적어도 하나를 결정하는 단계를 포함하는(410), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  36. 제35항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 움직임 정보 및 불일치 정보 중 적어도 하나를 포함하 는(410), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  37. 제35항에 있어서, 상기 정보는 상기 적어도 하나의 화상과 상기 적어도 하나의 참조 화상에 대응하는 명암도 정보 및 컬러 정보 중 적어도 하나를 포함하는(410), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  38. 제34항에 있어서, 상기 디코딩 단계는 상기 적어도 하나의 화상의 상이한 부분에 있는 다양한 불일치를 획득하기 위해 상기 적어도 하나의 화상의 상이한 부분과 복수의 필터를 연관시키는 단계를 포함하는(410), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  39. 제34항에 있어서, 상기 디코딩 단계는 상기 적어도 하나의 필터링된 참조 화상에 대해서 완전한 픽셀과 서브-픽셀 중 적어도 하나를 생성하기 위해 적어도 하나의 적응적 필터를 이용하는(425), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  40. 제34항에 있어서, 상기 방법은 디코더에 의해 수행되고, 상기 디코딩 단계는 상기 디코더의 공간적 구조 및 시간적 구조 중 적어도 하나에 기초해서 상기 적어도 하나의 참조 화상의 적응적 필터링을 위해 필터 계수를 다르게 디코딩하는 단계를 포함하는(410), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  41. 제34항에 있어서, 상기 디코딩 단계는 상기 적어도 하나의 필터링된 참조 화상 중 복수의 화상을 인에이블(enable)시키는 단계와, 이미지 블록 기반으로 상기 적어도 하나의 필터링된 참조 화상의 복수의 화상 중 하나 이상을 적응적으로 활용하는단계를 포함하는(430), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  42. 제34항에 있어서, 상기 적응적 필터링에서 이용되는 하나 이상의 필터는 1차원, 2차원, 및 3차원 중 하나인(410), 적어도 하나의 화상을 디코딩하는 단계를 포함하는 방법.
  43. 비디오 인코딩을 위한 비디오 신호 구조로서,
    적어도 하나의 필터링된 참조 화상을 제각각 얻기 위해 적어도 하나의 참조 화상의 적응적 필터링과, 상기 적어도 하나의 필터링된 참조 화상을 이용해서 상기 적어도 하나의 화상의 예측적 코딩에 의해 인코딩된 적어도 하나의 화상을 포함하는 비디오 신호 구조에 있어서,
    상기 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 상기 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 상기 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상인, 비디오 인코딩을 위한 비디오 신호 구조.
  44. 인코딩된 비디오 신호 데이터를 포함하는 저장 매체로서, 상기 저장 매체는 적어도 하나의 필터링된 참조 화상을 제각각 얻기 위해 적어도 하나의 참조 화상의 적응적 필터링과, 상기 적어도 하나의 필터링된 참조 화상을 이용해서 상기 적어도 하나의 화상의 예측적 코딩에 의해 인코딩된 적어도 하나의 화상을 포함하고, 상기 적어도 하나의 참조 화상은 그 화상의 적어도 하나의 샘플이 인-루프 필터에 적용되는 상기 적어도 하나의 샘플에 후속하여, 또는 인-루프 필터에 적용되는 상기 적어도 하나의 샘플이 없이 인터-예측을 위해 이용되는 화상인, 인코딩된 비디오 신호 데이터를 포함하는 저장 매체.
KR20097000943A 2006-07-18 2007-07-05 적응적 참조 필터링을 위한 방법 및 장치 KR101484606B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80764506P 2006-07-18 2006-07-18
US60/807,645 2006-07-18
PCT/US2007/015680 WO2008010929A2 (en) 2006-07-18 2007-07-05 Methods and apparatus for adaptive reference filtering

Publications (2)

Publication Number Publication Date
KR20090039720A true KR20090039720A (ko) 2009-04-22
KR101484606B1 KR101484606B1 (ko) 2015-01-21

Family

ID=38847028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20097000943A KR101484606B1 (ko) 2006-07-18 2007-07-05 적응적 참조 필터링을 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9253504B2 (ko)
EP (1) EP2041981B1 (ko)
JP (1) JP5535625B2 (ko)
KR (1) KR101484606B1 (ko)
CN (1) CN101491101B (ko)
BR (1) BRPI0714233A2 (ko)
WO (1) WO2008010929A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069976A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치
KR20150015483A (ko) * 2012-07-09 2015-02-10 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623712B2 (en) * 2005-06-09 2009-11-24 Canon Kabushiki Kaisha Image processing method and apparatus
US8731064B2 (en) * 2006-09-11 2014-05-20 Apple Inc. Post-processing for decoder complexity scalability
RU2407220C2 (ru) * 2006-09-20 2010-12-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования изображений, устройства для них, программа для них и носитель информации для хранения программ
JP5400062B2 (ja) * 2008-01-07 2014-01-29 トムソン ライセンシング パラメトリックフィルタリングを使用したビデオ符号化及び復号化方法及び装置
AU2008352118A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8462842B2 (en) 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8705622B2 (en) * 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
US9077971B2 (en) 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
EP2271113A4 (en) * 2008-04-30 2011-10-26 Toshiba Kk PICTURE CODING AND PAGE DECODING DEVICE WITH TIME VARIATION
JP5628155B2 (ja) * 2008-06-12 2014-11-19 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置
EP2136565A1 (en) 2008-06-19 2009-12-23 Thomson Licensing Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
RU2518435C2 (ru) * 2008-07-20 2014-06-10 Долби Лэборетериз Лайсенсинг Корпорейшн Оптимизация кодера в системах доставки стереоскопического видео
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
KR101530549B1 (ko) * 2008-10-10 2015-06-29 삼성전자주식회사 적응적 1차원 필터 세트를 이용한 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR100987922B1 (ko) 2008-12-31 2010-10-18 갤럭시아커뮤니케이션즈 주식회사 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 참조영상 결정방법
KR100987921B1 (ko) 2008-12-31 2010-10-18 갤럭시아커뮤니케이션즈 주식회사 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
CN104506877B (zh) * 2009-06-19 2018-01-19 三菱电机株式会社 图像解码装置以及图像解码方法
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
US20110116546A1 (en) * 2009-07-06 2011-05-19 Xun Guo Single pass adaptive interpolation filter
JP2011049740A (ja) 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
JP2011082725A (ja) * 2009-10-06 2011-04-21 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
FR2952497B1 (fr) * 2009-11-09 2012-11-16 Canon Kk Procede de codage et de decodage d'un flux d'images; dispositifs associes
US20110222608A1 (en) * 2010-03-15 2011-09-15 Yongying Gao Localized in-loop filtering with multiple filters in hybrid video coding
CN102907099A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性运动检索区域的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性运动检索区域的决定方法
CN102907094A (zh) * 2010-05-20 2013-01-30 星河通信株式会社 适用利用选择性参考影像的运动补偿方法的视频压缩编码装置及解码装置和用于运动补偿的选择性参考影像决定方法
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US9241160B2 (en) * 2010-07-21 2016-01-19 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
JP5066244B2 (ja) * 2010-10-29 2012-11-07 株式会社東芝 映像再生装置及び映像再生方法
CN101990103B (zh) * 2010-11-10 2013-01-16 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
CN107181950B (zh) 2010-12-08 2020-11-06 Lg 电子株式会社 一种执行内预测的编码装置和解码装置
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
WO2012090181A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Depth map coding
KR101890203B1 (ko) * 2011-01-12 2018-08-21 지멘스 악티엔게젤샤프트 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
WO2012131895A1 (ja) * 2011-03-29 2012-10-04 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
WO2013028121A1 (en) * 2011-08-25 2013-02-28 Telefonaktiebolaget L M Ericsson (Publ) Depth map encoding and decoding
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
CN102427540B (zh) * 2011-09-28 2014-04-09 深圳超多维光电子有限公司 一种立体图像滤波方法及相应的图像处理装置、终端设备
US8682087B2 (en) * 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN104067623A (zh) 2012-01-19 2014-09-24 三菱电机株式会社 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
KR101847365B1 (ko) * 2012-04-13 2018-04-09 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
US9769450B2 (en) 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
JP6110724B2 (ja) * 2013-05-01 2017-04-05 日本放送協会 画像処理装置、符号化装置、及び符号化プログラム
JP6067949B2 (ja) * 2014-09-30 2017-01-25 富士フイルム株式会社 画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体
CN104735450B (zh) * 2015-02-26 2019-06-07 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
CN107736027B (zh) * 2015-06-12 2021-06-01 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN106604030A (zh) * 2015-10-16 2017-04-26 中兴通讯股份有限公司 参考图像的处理方法及装置、编码器以及解码器
KR102009634B1 (ko) * 2016-05-04 2019-08-12 한국항공대학교산학협력단 영상 보정 정보 부호화 및 복호화 방법 및 장치
US10015504B2 (en) 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
CN110689497B (zh) * 2019-09-27 2020-05-12 信通达智能科技有限公司 基于目标识别的数据提取装置及方法
CN110866499B (zh) * 2019-11-15 2022-12-13 爱驰汽车有限公司 手写文本识别方法、系统、设备及介质
CN111770332B (zh) * 2020-06-04 2022-08-09 Oppo广东移动通信有限公司 插帧处理方法、插帧处理装置、存储介质与电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466961B1 (en) * 2000-08-16 2002-10-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for adapative spectral, spatial and temporal sensing for imaging applications
US6975776B2 (en) * 2002-02-14 2005-12-13 Tektronix, Inc. Predicting human vision perception and perceptual difference
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
EP1641274B1 (en) 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US7924918B2 (en) * 2004-11-29 2011-04-12 Ntt Docomo, Inc. Temporal prediction in video coding
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069976A1 (ko) * 2011-11-08 2013-05-16 주식회사 케이티 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
KR20150015483A (ko) * 2012-07-09 2015-02-10 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체

Also Published As

Publication number Publication date
US20090290637A1 (en) 2009-11-26
EP2041981A2 (en) 2009-04-01
EP2041981B1 (en) 2013-09-04
WO2008010929A3 (en) 2008-04-03
JP2009544222A (ja) 2009-12-10
CN101491101A (zh) 2009-07-22
CN101491101B (zh) 2011-11-16
JP5535625B2 (ja) 2014-07-02
WO2008010929A2 (en) 2008-01-24
BRPI0714233A2 (pt) 2013-01-15
US9253504B2 (en) 2016-02-02
KR101484606B1 (ko) 2015-01-21

Similar Documents

Publication Publication Date Title
KR101484606B1 (ko) 적응적 참조 필터링을 위한 방법 및 장치
KR102548737B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
JP2021168479A (ja) デプスマップの推定および更新を用いる効率的なマルチビュー符号化
JP5606625B2 (ja) ビデオ符号化のための高度な動きモデルを使った参照処理
KR101844705B1 (ko) 스테레오 비디오에 대한 심도 인지 강화
JP6698077B2 (ja) モデルベースの映像符号化用の知覚的最適化
KR102287414B1 (ko) 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
JP2014504459A (ja) 参照ピクチャー処理のための最適化されたフィルタ選択
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
RU2684193C1 (ru) Устройство и способ для компенсации движения в видеоизображении
EP2292014A1 (en) Methods and apparatus for locally adaptive filtering for motion compensation interpolation and reference picture filtering
JP2018513571A (ja) ビデオピクチャを符号化および復号する方法および装置
CN116848843A (zh) 可切换的密集运动向量场插值
KR102668077B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
KR20240073227A (ko) 영상 부호화 및 복호화 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6