KR101682516B1 - 파라미터 필터링을 사용하는 비디오 인코딩 및 디코딩을 위한 방법 및 장치 - Google Patents

Abstract

비디오 코딩을 위한 방법 및 장치가 제공된다. 이 방법을 사용하여, 비디오 인코더(100)가 적어도 하나의 필터링된 기준 화상을 얻기 위해 적어도 하나의 기준 화상을 필터링하는 단계(310)를 수행하고, 적어도 하나의 필터링된 기준 화상을 사용하여 화상을 예측 가능하게 코딩한다(315). 예시적인 일 실시예에서, 필터링은 파라미터 필터링을 사용하여 행해진다.

Description

파라미터 필터링을 사용하는 비디오 인코딩 및 디코딩을 위한 방법 및 장치{METHODS AND APPARATUS FOR VIDEO ENCODING AND DECODING USING PARAMETRIC FILTERING}

관련 출원에 대한 상호 참조

본 출원은, 2008년 1월 7일에 출원된, 미국 가특허 출원 일련번호 61/019,525(대리인 관리 번호 PU080001)의 이익을 주장하며, 상기 출원은 그 전체가 본 명세서에 참조로서 통합된다.

본 발명은 일반적으로 비디오 인코딩과 비디오 디코딩에 관한 것이며, 더욱 상세하게는, 파라미터 필터링을 사용하는 비디오 코딩을 위한 방법 및 장치에 관한 것이다.

종래 기술의 비디오 코딩 구조에서는, 블록-기반의 움직임 보상된 예측(MCP: motion compensated prediction)이 일시적인 중복(temporal redundancy)을 이용하기 위해 사용된다. 멀티-뷰 비디오 코딩(MVC: multi-view video coding) 시나리오에서 인터-뷰(inver-view) 코딩을 위해, 블록 매칭 절차가 또한 적용될 수 있어 패리티 패리티 불일치(disparity) 보상된 예측(DCP: disparity compensated prediction)을 수행하고, 인터-뷰 중복을 이용한다. MVC는 멀티-뷰 시퀀스들의 인코딩을 위한 압축 프레임워크(framework)이다. MVC는 상이한 관점으로부터 동일한 장면을 캡쳐(capture)하는 2개 이상의 비디오 시퀀스의 세트이다.

하지만, 초점 변경, 모노스코픽(monoscopic) 비디오에서의 움직임 흐릿함(motion blur) 및/또는 멀티-뷰 비디오 코딩시 상이한 뷰들에 걸친 초점 부정합과 같은 변환 변위(translational displacement)를 넘는 비디오 콘텐츠에서의 부정합이 존재한다. 게다가, 보여진 부정합들은 비디오 프레임의 상이한 부분들이 기준으로서 사용된 하나 이상의 프레임에서 대응하는 영역들에 관한 상이한 타입의 변경을 겪을 수 있도록 국부화될 수 있다. 예컨대, 카메라들(멀티-뷰 비디오 코딩에서 이용된) 중에서 이종(heterogenous) 카메라 설정들로 하게 되면, 상이한 타입의 흐릿함/선명도(blurriness/sharpness) 부정합이 상이한 깊이들을 지닌 물체(object)들과 연관된다. 모노스코픽 비디오에서의 움직임 흐릿함에 있어서, 상이한 방향으로 움직이는 물체들은 지향성(directional) 흐릿함을 초래할 수 있다. 이들 비-변환(non-translational) 부정합은 움직임 보상된 예측/패리티 패리티 불일치 보상된 예측의 코딩 효율을 더 떨어뜨리게 된다.

비디오 콘텐츠에서의 부정합에 대한 이전 정보 없이, 현재 프레임과 기준 프레임(들) 사이의 차이들에 기초하여 필터들을 적응 가능하게 설계하기 위해, 초기 검색 및 필터 추정이 먼저 수행되는 2가지-과정(two-pass) 인코딩 구조가 이용될 수 있다. 새로운 기준들이 추정된 필터들을 사용하여 형성되므로, 전술한 2가지-과정 인코딩 구조에 의해 더 높은 코딩 효율이 달성된다. 하지만, 그러한 구조는 인코딩 복잡성을 상당히 증가시키고, 또한 이러한 구조로 인코딩된 모든 프레임에 대한 필터 계수들을 송신하므로 오버헤드를 증가시킨다.

비디오 코딩의 상황에서, 코딩 효율을 개선하기 위해 새로운 기준 프레임들이 생성되는 기준 프레임 필터링 접근법이 제안되었다.

초점 변경 및/또는 카메라 패닝(panning)을 위해, 흐릿함 보상이라고 하는 기술이 제안되었는데, 이 기술에서는 비디오 코딩을 위한 흐릿해진 기준 프레임들을 생성하기 위해 흐릿함{저역 통과(lowpass)} 필터들의 고정된 세트가 사용된다. 이러한 기술은 우리가 고려하는 시나리오들에 대한 2가지 결점을 가진다. 첫 번째는 필터 선택이 프레임-레벨에서만 이루어진다는 점으로, 즉 프레임의 상이한 부분들에 상이한 필터를 적용하는 것이 고려되지 않았다. 두 번째는 이 방법이 매우 제한된 미리 한정된 필터 세트(저역 통과에만)에 의존한다는 점이다.

비디오 콘텐츠에서의 실제 부정합을 더 효율적으로 캡쳐하기 위해, 2가지-과정 인코딩 구조인 적응 기준 필터링 접근법을 이전에 제안하였다. 예컨대, 인터-뷰 예측으로 프레임은 인코딩하기 위해 초기 패리티 불일치 추정을 먼저 수행하는 것이 제안되었다. 장면 깊이의 추정으로서 패리티 불일치 필드들을 이용함으로써, 비디오 프레임들은 상이한 장면-깊이 레벨들에 대응하는 구역들로 분할된다. 각각의 깊이 레벨에 대해, 나머지 에너지를 최소화하기 위해, 현재 프레임과 기준 프레임 사이의 차이에 기초하여 공간 필터가 적응 가능하게 설계된다. 그러한 설계 접근은 상이한 뷰들에 걸쳐 보여진 깊이에 의존하는 초점 부정합들을 다룰 수 있다. 추정된 필터들은 필터링된 기준들을 형성하기 위해, 기준 프레임에 적용된다. 각각의 블록에 대해 인코더는 가장 낮은 비율-왜곡(rate-distortion) 비용(RD-비용)을 제공하는 예측기(필터링된 또는 필터링되지 않은)를 선택하고, 가장 높은 코딩 효율을 보장한다. 이러한 적응 기준 필터링(ARF: adaptive reference filtering) 방법에서, 오버헤드{프레임-와이즈(frame-wise) 필터 계수들}가 고정된 필터 세트 접근법에 비해 더 크다. 더 중요하게는 이러한 2가지-과정 방법이 인코딩 복잡성을 크게 증가시킨다. 이러한 부정합에 대한 사전 지식을 가지고 있지 않다면 추가적인 단계들(초기 검색 및 필터 추정)이 필요로 하게 된다.

종래 기술의 이들 및 다른 결점 및 단점은, 비디오 인코딩 및 디코딩을 위한 방법 및 장치에 관한 본 발명의 원리들에 의해 다루어진다.

본 발명의 원리들의 일 양상에 따르면, 장치가 제공된다. 이 장치는 화상을 인코딩하기 위한 인코더를 포함한다. 이 인코더는 적어도 하나의 필터링된 기준 화상을 얻기 위해 적어도 하나의 기준 화상의 필터링을 수행하고, 적어도 하나의 필터링된 기준 화상을 사용하여 화상을 예측 가능하게 코딩한다.

본 발명의 원리들의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 화상을 인코딩하는 단계를 포함한다. 이 인코딩 단계는 적어도 하나의 필터링된 기준 화상을 얻기 위해 적어도 하나의 기준 화상을 필터링하는 것과, 적어도 하나의 필터링된 기준 화상을 사용하여 화상을 예측 가능하게 코딩하는 것을 수행하는 단계를 포함한다.

본 발명의 원리들의 또 다른 양상에 따르면, 장치가 제공된다. 이 장치는 화상을 디코딩하기 위한 디코더를 포함한다. 이 디코더는 적어도 하나의 필터링된 기준 화상을 얻기 위해 적어도 하나의 기준 화상을 필터링하는 것과, 적어도 하나의 필터링된 기준 화상을 사용하여 화상을 예측 가능하게 디코딩하는 것을 수행한다.

본 발명의 원리들의 또 다른 양상에 따르면, 방법이 제공된다. 이 방법은 화상을 디코딩하는 단계를 포함한다. 이 디코딩 단계는 적어도 하나의 필터링된 기준 화상을 얻기 위해, 적어도 하나의 기준 화상을 필터링하는 것과, 적어도 하나의 필터링된 기준 화상을 사용하여, 화상을 예측 가능하게 디코딩하는 것을 수행하는 단계를 포함한다.

본 발명의 원리들의 이들 및 다른 양상, 특징, 장점은 첨부 도면과 관련하여 읽혀질 예시적 실시예들의 후속하는 상세한 설명으로부터 명백해 질 것이다.

본 발명은 다음의 예시적인 도면들에 따라서 더욱 잘 이해될 수 있다.

본 발명의 파라미터 필터링 기법을 사용하는 비디오 코딩 방법 및 장치는 비디오 인코딩과 비디오 디코딩 분야에 이용 가능하다.

도 1은 본 발명의 원리들의 일 실시예에 따라, 본 발명의 원리들이 적용될 수 있는 예시적인 멀티-뷰 비디오 코딩(MVC: Multi-view Video Coding) 인코더에 대한 블록도.
도 2는 본 발명의 원리들의 일 실시예에 따라, 본 발명의 원리들이 적용될 수 있는 예시적인 MVC 디코더에 대한 블록도.
도 3은 본 발명의 원리들의 일 실시예에 따른 디폴트 파라미터 필터 세트를 사용하는 비디오 인코딩을 위한 예시적인 방법에 대한 흐름도.
도 4는 본 발명의 원리들의 일 실시예에 따른 파라미터 필터 세트에 대한 적응 선택을 사용하는 비디오 인코딩을 위한 예시적인 방법에 대한 흐름도.
도 5는 본 발명의 원리들의 일 실시예에 따른 디폴트 파라미터 필터 세트를 사용하는 비디오 디코딩을 위한 예시적인 방법에 대한 흐름도.
도 6은 본 발명의 원리들의 일 실시예에 따른 파라미터 필터 세트에 대한 적응 선택을 사용하는 비디오 디코딩을 위한 예시적인 방법에 대한 흐름도.

본 발명의 원리들은 파라미터 필터링을 사용하는 비디오 코딩을 위한 방법 및 장치에 관한 것이다.

본 설명은 본 발명을 설명한다. 그러므로 당업자가, 본 명세서에 명시적으로 기재되거나 도시되지 않았으나, 본 발명을 구현하며 본 발명의 사상 및 범위 내에 포함되는, 다양한 장치를 안출하는 것이 가능할 것이라는 것이 이해될 것이다.

본 명세서에 상술된 모든 예시들 및 조건적 언어는 해당 기술을 진전시키기 위해 본 발명자에 의해 공헌된 본 발명 및 개념을 독자가 이해하는 것을 돕기 위한 교육적인 목적을 위한 것이며, 그러한 특정하게 상술한 예시들 및 조건들로 제한되지 않는 것으로 해석되어야 한다.

또한, 본 명세서에서 본 발명의 원리, 양상, 및 실시예들, 그리고 본 발명의 특정 예시들을 상술하는 모든 진술은, 본 발명의 구조적 그리고 기능적 등가물들을 모두 포함하도록 의도되었다. 또한, 그러한 등가물들은 현재 알려진 등가물 및 미래에 개발될 등가물 모두, 즉, 구조에 관계없이 동일한 기능을 수행하도록 개발되는 임의의 요소를 포함하도록 의도되었다.

그러므로, 예컨대, 본 명세서에 제공된 블록도는 본 발명을 구현하는 예시적 회로의 개념적 개관을 나타낸다는 것이 당업자에 의해 이해될 것이다. 마찬가지로, 임의의 순서도, 흐름도, 상태 전이도, 의사 코드(pseudocode), 그리고 이와 유사한 것들은, 실질적으로 컴퓨터 판독 가능한 매체에 제공되며 따라서, 컴퓨터 또는 프로세서가 명시적으로 도시되어있든지 그렇지 않든지 간에, 컴퓨터 또는 프로세서에 의해 실행되는 다양한 프로세스들을 나타낸다는 것이 이해될 것이다.

도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어 및, 적절한 소프트웨어와 결합하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수도 있다. 프로세서에 의해 제공될 때, 단일의 전용 프로세서에 의해, 단일의 공유된 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별적인 프로세서에 의해 기능들이 제공될 수도 있다. 또한, 용어 "프로세서(processor)" 또는 "제어기(controller)"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되어서는 안 되며, 이들은, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 그리고 비-휘발성 저장 장치를 암묵적으로 포함할 수도 있다.

종래의 및/또는 맞춤화된 다른 하드웨어가 또한 포함될 수도 있다. 마찬가지로, 도면들에 도시된 임의의 스위치들은 오직 개념적인 것이다. 그러한 스위치들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 수동으로까지 수행될 수도 있으며, 문맥으로부터 더욱 특정하게 이해되는 것과 같이, 특정 기술은 구현자에 의해 선택될 수 있다.

본 명세서의 청구항들에서, 특정 기능을 수행하는 수단으로 표현된 임의의 요소들은, 예컨대, a) 그러한 기능을 수행하는 회로 요소들의 결합 또는 b) 그러한 기능을 수행하기 위해 소프트웨어를 실행시키기 위한 적절한 회로와 결합된 펌웨어, 마이크로코드 또는 이와 유사한 것들을 포함하는, 임의의 형태의 소프트웨어를 포함하는, 그러한 기능을 수행하기 위한 임의의 방법을 포함하도록 의도되었다. 그러한 청구항들에 의해 한정되는 본 발명은, 다양한 상술한 수단들에 의해 제공되는 기능이 결합될 수 있으며 그러한 청구항들이 청구하는 방식으로 함께 제공될 수 있다는 사실에 존재한다. 그러므로, 그러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 수단들과 등가인 것으로 간주된다.

본 명세서에서, 본 발명의 "하나의 실시예" 또는 "일 실시예"를 언급하는 것은, 그러한 실시예와 관련되어 설명되는 특정한 특징, 구조, 특성 등이 본 발명의 적어도 한 실시예에 포함된다는 것을 의미한다. 그러므로, 본 명세서 전반에 걸쳐서 다양한 위치에 나타나는 "일 실시예에서" 또는 "하나의 실시예에서"라는 구절의 출현은 반드시 모두 동일한 실시예를 언급하는 것은 아니다.

예컨대 "A/B", "A 및/또는 B", 및 "A와 B 중 적어도 하나"의 경우에서와 같이 "/", "및/또는(and/or)"과 "중 적어도 하나"의 사용은 첫 번째로 열거된 옵션(A)만의 선택, 또는 두 번째로 열거된 옵션(B)만의 선택, 또는 옵션(A와 B) 모두의 선택을 포함하는 것으로 의도된다는 점을 알아야 한다. 또 다른 예로서, "A,B, 및/또는 C"와 "A,B, 및 C 중 적어도 하나"의 경우들에서, 그러한 어법은 첫 번째 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 세 번째 열거된 옵션(C)만의 선택, 또는 첫 번째 및 두 번째 열거된 옵션들(A,B)만의 선택, 또는 첫 번째 및 세 번째 열거된 옵션(A,C)만의 선택, 또는 두 번째 및 세 번째 열거된 옵션(B,C)만의 선택, 또는 3개의 옵션(A,B,C) 전부의 선택을 포함하는 것으로 의도된다. 이는 당업자에게 바로 명백해 지듯이, 열거된 많은 항목에 관해 확장될 수 있다.

게다가, 본 명세서에서 상호 교환 가능하게 사용되듯이, "크로스-뷰(cross-view)"와 "인터-뷰(inter-view)" 모두 현재 뷰 외의 다른 뷰에 속하는 화상들을 가리킨다.

본 명세서에서 본 발명의 원리들의 하나 이상의 실시예가 MPEG-4 AVC 표준의 멀티-뷰 비디오 코딩 확장에 관해 설명되었지만, 본 발명의 원리들은 이러한 확장 및/또는 이러한 표준에만 제한되지 않고, 따라서 본 발명의 원리들의 취지를 유지하면서, 다른 비디오 코딩 표준, 권고안, 및 그 확장안에 관해 이용될 수 있다는 점을 알아야 한다.

도 1을 참조하면, 예시적인 멀티-뷰 비디오 코딩(MVC) 인코더는 일반적으로 참조 번호(100)로 표시된다. 인코더(100)는 변환기(110)의 입력과 교신하는 출력을 가지는 결합기(105)를 포함한다. 변환기(110)의 출력은 양자화기(115)의 입력과 교신하도록 연결된다. 양자화기(115)의 출력은 엔트로피 코더(120)의 입력과 역 양자화기(125)의 입력과 교신하도록 연결된다. 역 양자화기(125)의 출력은 역 변환기(130)의 입력과 교신하도록 연결된다. 역 변환기(130)의 출력은 결합기(135)의 제 1 비반전 입력과 교신하도록 연결된다. 결합기(135)의 출력은 인트라 예측기(145)의 입력과 디블로킹 필터(150)의 입력과 교신하도록 연결된다. 디블로킹 필터(150)의 출력은 기준 화상 저장기(155)(뷰 i에 대한)의 입력과 교신하도록 연결된다. 기준 화상 저장기(155)의 출력은 움직임 보상기(175)의 제 1 입력과 움직임 추정기(180)의 제 1 입력과 교신하도록 연결된다. 움직임 추정기(180)의 출력은 움직임 보상기(175)의 제 2 입력과 교신하도록 연결된다.

기준 화상 저장기(160)(다른 뷰들에 대한)의 출력은 패리티 불일치/조사 추정기(170)의 제 1 입력과 패리티 불일치/조사 보상기(165)의 제 1 입력과 교신하도록 연결된다. 패리티 불일치/조사 추정기(170)의 출력은 패리티 불일치/조사 보상기(165)의 제 2 입력과 교신하도록 연결된다.

엔트로피 디코더(120)의 출력은 인코더(100)의 출력으로서 이용 가능하다. 결합기(105)의 비반전 입력은 인코더(100)의 입력으로서 이용 가능하고, 패리티 불일치/조사 추정기(170)의 제 2 입력 및 움직임 추정기(180)의 제 2 입력과 교신하도록 연결된다. 스위치(185)의 출력은 결합기(135)의 제 2 비반전 입력 및 결합기(105)의 반전 입력과 교신하도록 연결된다. 스위치(185)는 움직임 보상기(175)의 출력과 교신하도록 연결된 제 1 입력, 패리티 불일치/조사 보상기(165)의 출력과 교신하도록 연결된 제 2 입력, 및 인트라 예측기(145)의 출력과 교신하도록 연결된 제 3 입력을 포함한다.

모드 결정 모듈(140)은 스위치(185)에 의해 어느 입력이 선택되는지를 제어하기 위해, 스위치(185)에 연결된 출력을 가진다.

도 2를 참조하면, 예시적인 멀티-뷰 비디오 코딩(MVC) 디코더가 일반적으로 참조 번호(200)로 표시된다. 디코더(200)는 역 양자화기(210)의 입력과 교신하도록 연결된 출력을 가지는 엔트로피 디코더(205)를 포함한다. 역 양자화기의 출력은 역 변환기(215)의 입력과 교신하도록 연결된다. 역 변환기(215)의 출력은 결합기(220)의 제 1 비반전 입력과 교신하도록 연결된다. 결합기(220)의 출력은 디블로킹 필터(225)의 입력 및 인트라 예측기(230)의 입력과 교신하도록 연결된다. 디블로킹 필터(225)의 출력은 기준 화상 저장기(240)(뷰 i에 대한)의 입력과 교신하도록 연결된다. 기준 화상 저장기(240)의 출력은 움직임 보상기(235)의 제 1 입력과 교신하도록 연결된다.

기준 화상 저장기(245)(다른 뷰들에 대한)의 출력은 패리티 불일치/조사 보상기(250)의 제 1 입력과 교신하도록 연결된다.

엔트로피 코더(205)의 입력은 나머지(residue) 비트스트림을 수신하기 위해, 디코더(200)의 입력으로서 이용 가능하다. 게다가, 모드 모듈(260)의 입력은 또한 스위치(255)에 의해 어느 입력이 선택될지를 제어하기 위한 제어 구문(syntax)을 수신하도록 디코더(200)로의 입력으로서 이용 가능하다. 또한, 움직임 보상기(235)의 제 2 입력은 움직임 벡터들을 수신하기 위해 디코더(200)의 입력으로서 이용 가능하다. 또한, 패리티 불일치/조사 보상기(250)의 제 2 입력은 패리티 불일치 벡터들과 조사 보상 구문을 수신하도록 디코더(200)의 입력으로서 이용 가능하다.

스위치(255)의 출력은 결합기(220)의 제 2 비반전 입력과 교신하도록 연결된다. 스위치(255)의 제 1 입력은 패리티 불일치/조사 보상기(250)의 출력과 교신하도록 연결된다. 스위치(255)의 제 2 입력은 움직임 보상기(235)의 출력과 교신하도록 연결된다. 스위치(255)의 제 3 입력은 인트라 예측기(230)의 출력과 교신하도록 연결된다. 모드 모듈(260)의 출력은 스위치(255)에 의해 어느 입력이 선택될지를 제어하기 위해 스위치(255)와 교신하도록 연결된다. 디블로킹 필터(225)의 출력은 디코더의 출력으로서 이용 가능하다.

전술한 바와 같이, 본 발명의 원리들은 파라미터 필터링을 사용하는 비디오 코딩을 위한 방법 및 장치에 관한 것이다.

매우 제한된 미리 한정된 필터 세트(저역 통과만)에 의존하는 흐릿함 보상의 전술한 종래 기술과는 대조적으로, 본 발명의 원리들에 따르면 보상될 부정합의 특징들에 기초하여 설계되는 미리 한정된 필터 세트들을 제공한다. 그러한 부정합들의 가능한 예에는 멀티-뷰 비디오 코딩(MVC)을 위한 인터-뷰 예측에 있어서의 초점 부정합과, 모노스코픽 비디오에서의 지향성 움직임 흐릿함이 있다. 그러므로, 일 실시예에서 초점 부정합을 보상하기 위해 고주파 강화 필터들을 포함할 수 있고, 또 다른 또는 동일한 실시예에서 움직임 흐릿함을 보상하기 위한 지향성 필터들을 포함할 수 있다. 이러한 접근에서 국부화된 보상이 적용될 수 있도록 다수의 파라미터 필터들이 지원될 수 있다. 이전의 부정합 타입들(초점 부정합과 움직임 흐릿함)은 예시의 목적을 위해 언급되고, 따라서 본 발명의 원리들은 그러한 부정합 타입들에만 제한되지 않는다는 점을 알아야 한다. 즉, 본 명세서에서 제공된 본 발명의 원리들의 가르침이 주어지면, 당업자는 본 발명의 원리들의 취지를 유지하면서 본 발명의 원리들이 적용될 수 있는 다양한 타입의 부정합을 즉시 알게 된다.

그러므로, 본 발명의 원리들에 따른 비디오 코딩을 위한 파라미터 필터링은 이러한 부정합의 특징들을 유리하게 이용한다. 일 실시예에서, 비디오 시퀀스(미리 한정된 필터 세트)를 인코딩하기 전에 파라미터 필터들의 한 세트가 설계된다. 이들 파라미터 필터들은 초점 변경을 위한 등방성(isotropic) 필터들과 움직임 흐릿함을 위한 지향성 필터들과 같은 보상될 목표 부정합에 대한 지식에 기초하여 설계된다. 따라서, 본 발명의 원리들의 실시예들은 특정 용도로(application specific) 미리 한정된 필터 세트들을 제공할 수 있다. 국부화된 부정합들을 보상하기 위해 다수의 파라미터 필터가 설계될 수 있다. 목표로 정해진 부정합이 존재시, 코딩 효율을 개선하기 위해 파라미터 필터들을 적용함으로써 새로운 기준 프레임들이 생성될 수 있다. 비록 파라미터 필터들이 사전에 설계되더라도, 그것들을 사용할지, 어느 필터(들)가 사용될지, 및 새로운 기준 프레임들을 생성할 것을 필터들의 순서에 대한 결정은, 그 부정합의 추정들에 기초하여 적응 가능하게 결정될 수 있다. 그러므로, 본 발명의 원리들의 실시예들은, 여전히 비디오 콘텐츠에서 보여진 부정합들을 효율적으로 캡쳐하면서, 또한 기준 필터링(인코딩될 각 프레임에 대한 초기 검색으로 필터들을 추정하는)을 이용하는 다른 방법들에 비해 복잡성을 감소시킬 수 있다. 게다가, 필터들이 부정합의 성질에 따라 파라미터화되고, 코딩 결정이 적응 가능하게 이루어질 수 있으므로, 코딩 효율이 개선된다. 즉, 오버헤드를 매우 작게 유지하면서(모든 프레임에 대해 설정된 하나의 필터 대신 미리 한정된 필터 세트), 높은 코딩 효율이 달성될 수 있는데, 이는 필터들이 부정합의 성질들을 이용함으로써 파라미터화되고, 그 선택이 비디오 프레임들 사이의 추정된 차이에 적응 가능하게 되기 때문이다.

그러므로, 본 발명의 원리들이 하나 이상의 실시예에 따라 부정합의 성질들에 기초하여 파라미터 필터들을 설계하기 위한 방법 및 장치가 개시되고, 이 경우 그 파라미터 필터들은 부정합의 동일한 카테고리(가령 초점 변경, 및/또는 움직임 흐릿함)로부터 겪는 비디오 시퀀스들에 적용된다. 새로운 코딩 구조는 이용될 파라미터 필터들이 현재 프레임과 참조 프레임(들) 사이의 차이에 따라 여전히 설계/선택될 수 있으면서 적응 기준 필터링(ARF: adaptive reference filtering)에서와 같이 2가지-과정 코딩을 수행하는 것을 회피한다. 예컨대, 필터의 구조를 고정할 수 있고, 필터 파라미터들이 조정될 수 있어 필터가 그에 따라 저역통과, 대역통과 및/또는 고역통과 필터로 변경될 수 있다. 하나의 프레임 내에서 부정합의 국부화된 및/또는 상이한 타입의 부정합을 보상하도록 다수의 파라미터 필터가 구성될 수 있다. 필터들의 세트를 설계한 후, 그 필터들은 더 높은 코딩 효율을 위해 새로운 필터링된 기준 프레임들(특정 용도로 미리 한정된 필터 세트)을 생성하기 위해 필터들의 세트를 인코더가 사용할 수 있도록 인코더에 이용 가능하게 될 수 있다.

MVC 인터 -뷰 예측에서의 초점 부정합을 위한 파라미터 필터링

멀티-뷰 비디오 코딩에서, 다수의 카메라에 의해 동시에 캡쳐한 비디오 데이터가 인코딩된다. 상이한 카메라로부터의 각각의 비디오를 뷰들로서 참조한다. 인터-뷰 예측은 기준들로서 다른 뷰들로부터의 프레임들을 사용하는 프레임 인코딩을 가리킨다. 상이한 뷰들로부터의 프레임들은 이종 카메라 설정 및/또는 상이한 슈팅(shooting) 위치/방위(position/orientation)로 인해, 초점 부정합을 나타낼 수 있다. 상이한 카메라들에 의해 캡쳐한 이미지들에서 보여진 차이들은 초점 설정 부정합들과 물체들의 깊이의 관점에서 나타내어질 수 있다는 점이 보여졌다. 이러한 부정합은 공간 영역에서 원형 대칭(circular symmetric)인 흐릿함(저역 통과)/선명함(강화)으로서 나타내어질 수 있는 광학 전달 함수들에서의 차이를 이끌어낸다. 주어진 한 쌍의 뷰의 경우, 변경의 타입(저역통과, 강화, 등)과 정도는 장면 내의 깊이 구성과 연관된다. 파라미터 필터들은 그러한 초점 부정합들의 넓은 범위를 커버하도록 구성될 수 있다. 일부 예들은 아래 표들에서 요약된다. 표 1A와 표 1B는 각각 3 ×3과 5 ×5 대칭 제약(constraint)을 지닌 파라미터 필터들을 보여준다. 표 2A와 표 2B는 각각 3 ×3과 5 ×5의 수직/수평 대칭 제약을 지닌 파라미터 필터를 보여준다.

[표 1A]

[표 1B]

[표 2A]

[표 2B]

다이아몬드 형상의 파라미터 필터들은 위 필터들의 특별한 경우로서 간주될 수 있다는 점을 주목하라. 예컨대, 5 ×5의 수직/수평 필터에서 g=h=i=0이라고 한다면, 표 3에 도시된 것처럼 후속하는 다이아몬드 형상을 얻는다.

[표 3]

파라미터들(필터 계수들)의 값들을 변화시킴으로써, 인터-뷰 예측에서의 가능한 초점 부정합을 보상하기 위해 상이한 주파수 응답들을 지닌 필터들을 생성할 수 있다. 일 실시예에서, 초점 부정합들을 지닌 시퀀스들에 대한 예측 에러를 최소화하는 파라미터 필터들을 추정하고 수집함으로써 필터들의 세트를 구성하고, 수집된 파라미터 필터들을 몇몇 대표적인 필터들로 분류/무리짓는다. 그 다음, 얻어진 필터 세트는 멀티-뷰 비디오 코딩 인터-뷰 예측에서의 초점 부정합을 보상하기 위해 사용되는 파라미터 필터들의 역할을 할 수 있다. 또 다른 실시예에서는, 파라미터 필터들의 세트의 구조를 결정하고, 각 파라미터 필터에 대한 파라미터들을 사용중에 추정한다.

미리 한정된 필터 세트는 멀티-뷰 비디오를 코딩할 때 인코더 옵션들을 제공한다. 초점 설정 차이와 장면의 깊이 구성에 따라, 이미지가 상이한 타입의 초점 부정합을 보여주게 된다. 그러므로, 멀티-뷰 비디오 코딩된 뷰가 모든 파라미터 필터들을 이용할 필요는 없다. 다음은 모든 파라미터 필터가 사용될 필요가 없을 때의 몇몇 예를 제공한다.

(1) 어떤 뷰가 참조를 위해 사용된 뷰(들)에 비해 초점 부정합을 가지지 않는다면, 필터링 접근은 반드시 필요한 것은 아니지만 코딩 효율은 보존될 수 있다.

(2) 일정한 타입의 초점 부정합만이 인코딩되는 뷰에 존재할 때, 일부 파라미터 필터들은 코딩 개선을 제공할 수 없기 때문에 블록-기반의 보상에 의해 매우 드물게 선택될 수 있다. 이들 파라미터 필터를 필터 리스트에서 제거하는 것은, 기준 인덱스를 시그널링하는데 쓰여진 비트율을 절약하는 것에 도움을 줄 수 있는데, 이는 선택할 필터링된 기준들이 거의 없기 때문이다.

(3) 유사한 타입의 부정합이 존재한다 할지라도, 장면에서의 부정합의 구성은 여전히 상이할 수 있다. 예컨대, 한 장면은 소수의 물체만이 저역 통과 필터링을 필요로 하는 대부분 강화를 요구하는 물체들을 가질 수 있는데 반해, 또 다른 장면에서는 더 많은 부분이 평탄해질 필요고 있을 수 있다(저역 통과 필터링). 파라미터 필터들의 순서는 그에 따라 바뀌어야 한다. 리스트에 가장 지배적인 부정합 필터를 먼저 놓는 것이 시그널링 비트율을 더 감소시킬 수 있다.

이러한 점들을 고려하고 코딩 효율을 개선하기 위해, 하나 이상의 실시예에 따라, 각각의 뷰에 대해 어느 파라미터 필터들이 포함되어야 하는지와, 포함된 필터들의 순서를 적응 가능하게 결정하는 추정 기술을 또한 제안한다.

초점 부정합 추정, 실시예 Ｉ:

카메라 파라미터들(가령, 예컨대 초점 설정과 개구 크기)이 이용 가능하다면, 이미징(imaging) 시스템의 특성들(즉, 광학 전달 함수들)이 유도될 수 있다. 깊이 정보가 또한 광학 전달 함수들과 결합되어 이용 가능할 때(예컨대, 자유로운 뷰포인트의 텔레비전 시스템들), 어떠한 종류의 부정합이 이미지들에 존재하게 될지를 알 수 있게 된다. 주어진 뷰에 대해, 위 정보에 기초한 이미지들에서 보여지게 될 부정합의 타입들을 망라하는 파라미터 필터들을, 미리 한정된 필터 세트로부터 선택한다. 깊이 정보는 또한 장면의 깊이 구성을 말해주고, 그 결과로서 어떤 타입의 부정합이 더 지배적인지를 말해준다. 그러므로, 선택된 필터들의 순서는 그에 따라 결정될 수 있다.

초점 부정합 추정, 실시예 Ⅱ:

카메라 파라미터들이 이용 가능(그리고, 따라서 광학 전달 함수들이 알려진)하지만, 깊이 정보는 이용 가능하지 않을 때(즉, 어떠한 깊이 정보도 현재 이용 가능하지 않은), 깊이를 대략 계산하는 추정을 수행할 수 있다. 예컨대, 우리가 또한 카메라들과 관련 슈팅 방위(shooting orientation) 사이의 간격(spacing)을 안다면, 추정된 패리티 불일치가 그 장면에서의 상이한 물체들의 실제 깊이를 추정하기 위해 사용될 수 있다. 즉, 멀티-뷰 카메라 파라미터들이 주어진다면, 초점 부정합의 가능한 타입들을 식별하기 위해 패리티 불일치 추정(예컨대, 검색을 통해)을 수행할 수 있다. 주어진 뷰의 경우, 그러한 추정 후 우리가 고려중인 부정합의 타입들을 망라하는 파라미터 필터들을 미리 한정된 필터 세트로부터 선택한다. 패리티 불일치 추정은 또한 장면의 깊이 구성을 표시하고, 그 결과로서 무슨 타입의 부정합이 더 지배적인지를 표시한다. 그에 따라 선택된 필터들의 순서가 결정될 수 있다.

초점 부정합 추정, 실시예 Ⅲ:

멀티-뷰 카메라 파라미터들이 충분히 이용 가능하지 않을 때에는, 이미지들에서의 부정합을 추정하기 위해, 적응성 참조 필터링과 유사한 절차를 사용할 수 있다. 인코딩될 주어진 뷰에 대해, 프레임들은 패리티 불일치 벡터들의 분류에 기초한 상이한 깊이 레벨들로 분할된다. 그런 다음, 2차원 최소 평균-제곱 에러 필터들이 각각의 깊이 레벨에서의 모든 블록에 대해 추정된다. 이들 추정된 필터들은 무슨 타입의 초점 부정합이 기준 뷰(들)에 비해 현재 뷰에 존재하는지를 표시한다. 그런 다음 추정된 필터들을 미리 한정된 세트에서의 파라미터 필터들과 비교할 수 있다. 새로운 기준 프레임들을 생성하기 위해, 추정된 필터들과 가장 높은 상관을 가지는 미리 한정된 세트에서의 필터가, 현재 뷰에 대한 추가적인 코딩 옵션들로서의 역할을 하기 위해 선택된다. 선택된 파라미터 필터들의 순서는 또한 분류와 상관 분석에 기초하여 결정될 수 있다.

이들 방법의 다양한 실시예에서, 패리티 불일치 추정(실시예 Ⅱ와 Ⅲ)과 필터 추정(실시예 Ⅲ)이 주어진 뷰의 일부 초기 프레임들에서 수행될 수 있고, 그런 다음 선택된 파라미터 필터들이 나머지 프레임들에 적용된다는 점이 주목되어야 한다. 다른 실시예들에서, 추정은 일정한 특별한 타임스탬프(timestamp)들(예컨대, 매 10번째 프레임마다)에서 실행될 수 있고, 선택된 파라미터 필터들은 부정합 추정 타임스탬프들 사이의 프레임들에 적용된다.

비디오 코딩에서의 지향성 움직임 흐릿함에 대한 파라미터 필터링

이제 지향성 움직임 흐릿함에 파라미터 필터링을 적용하는 생각을 설명한다. 파라미터 필터들은 움직임 흐릿함을 보상하기 위해 구성될 수 있다. 움직임이 비디오 콘텐츠에서 상이한 방향들에서 일어날 수 있기 때문에, 필터들은 아래에 예시된 것처럼 지향성(directionality)으로 파라미터화될 수 있다.

[표 4]

필터들의 세트를 구성한 후, 인코더는 움직임 흐릿함 부정합의 추정을 수행함으로써, 필터들 중 사용할 것과 필터 순서를 선택할 수 있다. 일 실시예에서, 움직임 흐릿함 부정합들의 추정은 가능한 움직임 흐릿함 방향들을 식별하기 위해, 움직임 추정에 의해 수행될 수 있다. 또 다른 실시예에서는, 비디오 프레임들에서 보여진 움직임 흐릿함을 캡쳐하는 필터들을 추정하기 위해 적응성 기준 필터링과 유사한 과정을 적용할 수 있다. 그런 다음, 추정된 필터들에 가장 높은 상관을 예증하는 미리 한정된 세트로부터의 필터들이 선택되어 새로운 기준 프레임들을 생성한다.

파라미터 필터링의 시그널링( Signaling of parametric filtering )

필터 세트가 부정합의 특성들을 이용함으로써 미리 한정되므로, 그 계수들은 전체 시퀀스 동안 기껏해야 한 번 송신되기만 하면 된다. 게다가, 미리 한정된 필터 세트가 인코더와 디코더 모두에 공통인 사전으로서 구축된다면, 필터 계수들을 송신할 필요가 없다.

필터 계수들이 한 번 송신된 경우, 그 필터 계수들이 송신되는 순서는 그것들의 디폴트(default) 순서로서 간주될 수 있고, 그 필터 계수들이 고정된 세트인 경우, 그 디폴트 순서는 그 필터 계수들을 위해 확립될 수 있다.

이들 필터를 그것들의 디폴트 순서에서 사용하기를 희망할 때에는, 필요한 추가적인 구문이 존재하지 않는다. 일단 기준 화상 리스트가 확립되면, 필터들은 그것들의 디폴트 순서대로 적용된다. 각 리스트에 N개의 필터가 존재하지만, 그 기준 리스트에 M<N인 기준 화상들만이 존재하는 경우, 첫 번째 M 필터들이 적용된다.

프레임들이 미리 정해진 것으로부터 상이한 개수(인코더가 필터링을 적용하지 않을 것으로 결정하는 경우, 심지어 0)의 파라미터 필터들을 사용할 수 있고, 그 순서는 상이할 수 있다는 사실로 인해, 이들 경우에는 그러한 정보를 디코더에 제공하는 것이 필수적이 된다. 본 명세서에서, 선택된 필터들의 시그널링에 관한 파라미터 필터링을 사용하는 멀티-뷰 비디오 코딩 인터뷰-예측의 일 예를 예증한다.

미리 한정된 세트에는 4개의 파라미터 필터가 존재하고, 그것들은 f1 내지 f4로 표시되며, 그 디폴트 순서는 f1,f2,f3,f4이라고 가정한다. 5개의 뷰(V0 내지 V4)가 IBPBP 구조를 지닌 인터-뷰 예측을 사용하여 인코딩된다.

[표 5]

이 예에서, V1의 경우, 디코더는 이러한 B-뷰가 파라미터 필터링으로 인코딩되었음을 알게 된다(필터_플래그=1). 이 플래그는 높은 레벨의 구문으로서 송신되고, PPS,SPS,NAL 유닛 헤더 및/또는 슬라이스 헤더에 존재할 수 있지만, 이들에 제한되는 것은 아니다. 이러한 플래그의 일 실시예가 슬라이스 헤더 구문을 보여주는 표 6에 도시된다.

표 5에 도시된 것처럼, V1의 경우 리스트_0에 대한 3개의 필터와 리스트_1에 대한 1개의 필터가 존재한다(3개가 필터링되고, 1개가 필터링되지 않은 총 4개). 이러한 필터 순서는 리스트_0에서의 기준들이 f3에 의한 필터링된 기준, f4에 의한 필터링된 기준, 필터링되지 않은 기준, 및 f1에 의한 필터링된 기준에 대응한다는 것을 표시하고, 리스트_1에서의 유일하게 필터링된 기준이 f2에 의해 생성되며, 이는 리스트 1에서의 필터링되지 않은 기준 다음에 놓인다.

이 예에서, 각 리스트에서의 필터들의 개수는 상이하고, 또한 그 필터들의 순서 또한 변경된다. 디코더가 이러한 점을 알도록 하기 위해, 재주문되는 기준 화상에 대해 사용하기 위해서는 어느 필터 인덱스를 사용할지를 표시하는 기준 화상 리스트 재주문(RPLR)과 함께 추가적인 구문을 송신하는 것을 제안한다. 표 7은 기준 화상 리스트 재주문 구문을 보여준다.

V2는 또한 파라미터 필터링으로 인코딩되고(필터_플래그=1), f3와 f1에 의한 2개의 필터링된 기준이 존재한다. 그 기준들의 순서는 f3에 의해 필터링, 필터링되지 않음, 및 f1에 의한 필터링과 같이 된다. 리스트_0에는 필터들의 숫자에 대한 구문이 존재하지 않는데, 이는 그 비트스트림이 뷰가 P-뷰이고, 따라서 모든 필터가 리스트_0을 위한 것임을 표시하게 될 것이기 때문이다. V4의 경우, 필터_플래그=0은 그것이 파라미터 필터링을 적용하지 않고 인코딩되었음을 표시한다.

[표 6]

[표 7]

도 3을 참조하면, 디폴트 파라미터 필터 세트를 사용하는 비디오 인코딩을 위한 예시적인 방법이 일반적으로 참조 번호 300으로 표시된다.

방법(300)은 제어를 기능 블록(310)으로 넘기는 시작 블록(305)을 포함한다. 기능 블록(310)은 미리 한정된 파라미터 필터 세트(디폴트 순서를 지닌)를 사용하는 필터링된 기준들을 생성하고, 제어를 기능 블록(315)에 넘긴다. 기능 블록(315)은 필터링되지 않은 기준 및 필터링된 기준을 지닌 현재 프레임을 인코딩하고, 제어를 종료 블록(399)에 넘긴다.

도 4를 참조하면, 파라미터 필터 세트에 대한 적응성 선택을 사용하는 비디오 인코딩을 위한 예시적인 방법이 일반적으로 참조 번호 400으로 표시된다.

방법(400)은 제어를 기능 블록(410)에 넘기는 시작 블록(405)을 포함한다. 기능 블록(410)은 예컨대 필터_플래그의 값(0 또는 1), 필터들의 숫자, 및 필터들의 순서를 결정하기 위해, 카메라들 파라미터들, 및/또는 카메라 설정들, 및/또는 깊이/패리티 불일치/움직임 정보, 및/또는 필터 추정(예컨대, 이러한 필터 추정에는 미리 한정된 세트와의 비교를 수행하는 것을 포함한다)에 기초할 수 있는 부정합 추정을 수행하고, 제어를 결정 블록(415)에 넘긴다. 결정 블록(415)은 필터_플래그가 1과 같은지 여부를 결정한다. 만약 1과 같다면, 제어는 기능 블록(420)에 넘어간다. 만약 1과 같이 않다면, 제어는 기능 블록(430)에 넘어간다.

기능 블록(420)은 필터링된 기준들(결정된 순서와 숫자를 지닌)을 생성하고{기능 블록(410)에 대한 것처럼}, 제어를 기능 블록(425)에 넘긴다. 기능 블록(425)은 필터링되지 않은 기준과 필터링된 기준을 지닌 현재 프레임을 인코딩하고, 제어를 종료 블록(499)에 넘긴다.

기능 블록(430)은 현재 프레임을 인코딩하고, 제어를 종료 블록(499)에 넘긴다.

도 5를 참조하면, 디폴트 파라미터 필터를 사용하는 비디오 디코딩을 위한 예시적인 방법이 일반적으로 참조 번호 500으로 표시된다.

방법(500)은 제어를 기능 블록(510)에 넘기는 시작 블록(505)을 포함한다. 기능 블록(510)은 미리 한정된 필터 계수들에 기초하여 필터링된 기준을 생성하고, 제어를 기능 블록(515)에 넘긴다. 기능 블록(515)은 필터링되지 않은 기준과 필터링된 기준을 지닌 현재 프레임을 디코딩하고, 제어를 종료 블록(599)에 넘긴다.

도 6을 참조하면, 파라미터 필터 세트에 대한 적응성 선택을 사용하는 비디오 디코딩을 위한 예시적인 방법이 일반적으로 참조 번호 600으로 표시된다.

방법(600)은 제어를 결정 블록(615)에 넘기는 시작 블록(605)을 포함한다. 결정 블록(615)은 필터_플래그가 1과 같은지 여부를 결정한다. 만약 1과 같다면, 제어는 기능 블록(620)에 넘어간다. 만약 1과 같지 않으면, 제어는 기능 블록(635)에 넘어간다.

기능 블록(620)은 미리 한정된 필터 세트들로부터 선택되는 필터들의 숫자를 디코딩하고, 또한 필터들의 순서를 디코딩한 다음, 제어를 기능 블록(625)에 넘긴다. 기능 블록(625)은 필터들의 디코딩된 숫자와 필터들의 순서에 기초하여 필터링된 기준들을 생성하고, 제어를 기능 블록(630)에 넘긴다. 기능 블록(630)은 필터링된 기준과 필터링되지 않은 기준을 지닌 현재 프레임을 디코딩하고, 제어를 종료 블록(699)에 넘긴다.

기능 블록(635)은 현재 프레임을 디코딩하고, 제어를 종료 블록(699)에 넘긴다.

이제, 본 발명의 많은 부수적인 장점/특징의 일부에 대한 설명이 주어지고, 그들 중 일부는 위에서 언급되었다. 예컨대, 한 가지 장점/특징은 화상을 인코딩하기 위한 인코더를 가지는 장치이다. 이 인코더는 적어도 하나의 필터링된 기준 화상을 각각 얻기 위해 적어도 하나의 기준 화상의 파라미터 필터링을 수행하고, 적어도 하나의 필터링된 기준 화상을 사용하여 화상을 예측 가능하게 코딩한다.

또 다른 장점/특징은 전술한 바와 같은 인코더를 가지는 장치로서, 이 경우 파라미터 필터링을 위해 사용된 파라미터 필터들의 적어도 하나의 세트는 화상이나 화상이 속하는 비디오 시퀀스를 인코딩하기 전에 미리 한정된다.

또 다른 장점/특징은 파라미터 필터들의 적어도 하나의 세트가 전술한 바와 같이 미리 한정되는 인코더를 가지는 장치로서, 이 경우 파라미터 필터들의 적어도 하나의 미리 한정된 세트는 화상과 적어도 하나의 기준 화상 사이의 예상된 부정합에 기초하여 추정된다.

또 다른 장점/특징은 파라미터 필터들의 적어도 하나의 미리 한정된 세트가 전술한 바와 같이 추정되는 인코더를 가지는 장치로서, 이 경우 파라미터 필터들의 적어도 하나의 미리 한정된 세트의 계수들은, 예상된 부정합을 보상하는 필터들의 그룹을 추정하는 것과, 필터들의 추정된 그룹의 적어도 일부를 분류하는 것에 기초하여 계산된다.

게다가, 또 다른 장점/특징은 파라미터 필터들의 적어도 하나의 세트가 전술한 바와 같이 미리 한정되는 인코더를 가지는 장치로서, 이 경우 그 인코더는 파라미터 필터링을 위해 사용하도록 적어도 하나의 미리 한정된 필터로부터 파라미터 필터들의 적어도 하나의 세트를 선택하고, 또한 적어도 하나의 선택된 세트에서 필터들의 순서를 선택한다.

또 다른 장점/특징은 파라미터 필터들의 적어도 하나의 세트를 선택하고 또한 전술한 바와 같이 필터들의 순서를 선택하는 인코더를 가지는 장치로서, 이 경우 파라미터 필터들의 적어도 하나의 선택된 세트와 적어도 하나의 선택된 세트에서의 필터들의 순서 중 적어도 하나가, 화상과 적어도 하나의 기준 화상 사이의 부정합의 추정에 기초하여 선택된다.

또한, 또 다른 장점/특징은 전술한 바와 같이 부정합의 추정에 기초하여 선택하는 인코더를 가지는 장치로서, 이 경우 멀티-뷰 비디오 콘텐츠의 적어도 2개의 뷰 중 적어도 하나의 뷰에 화상이 대응하고, 그 추정은 멀티-뷰 비디오 콘텐츠를 캡쳐하기 위해 사용된 적어도 2개의 카메라에 대한 카메라 설정과 카메라 파라미터 중 적어도 하나에 기초한다.

추가로, 또 다른 장점/특징은 전술한 바와 같이 부정합의 추정에 기초하여 선택하는 인코더를 가지는 장치로서, 이 경우 그 추정은 움직임 정보, 깊이 정보, 움직임 검색, 및 패리티 불일치 검색 중 적어도 하나에 기초한다.

게다가, 또 다른 장점/특징은 전술한 바와 같이 부정합의 추정에 기초하여 선택하는 인코더를 가지는 장치로서, 이 경우 그 추정은 상이한 타입의 부정합을 지닌 구역들로 화상을 분할함으로써 수행된다.

또 다른 장점/특징은 전술한 바와 같이 파라미터 필터들의 적어도 하나의 세트를 선택하고 필터들의 순서를 선택하는 인코더를 가지는 장치로서, 이 경우 파라미터 필터링을 수행함으로써 얻어진 적어도 하나의 필터링된 기준 화상은 인코딩 선택과 시그널링을 위한 상이한 기준 인덱스와 연관된다.

또한, 또 다른 장점/특징은 전술한 바와 같이 파라미터 필터들의 적어도 하나의 세트를 선택하고 필터들의 순서를 선택하는 인코더를 가지는 장치로서, 이 경우 그 인코더는 대응하는 디코더에 의한 화상의 재구성을 허용하도록 결과 비트스트림에서의 기준 화상 순서와 파라미터 필터들의 적어도 하나의 선택된 세트를 시그널링한다.

본 명세서의 가르침을 기초로 하여, 본 발명의 이러한 그리고 다른 특징들 및 이점들은 당업자에 의해 즉시 확인될 수도 있다. 본 발명의 가르침은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 그들의 조합의 다양한 형태로 구현될 수 있다는 것이 이해되어야 한다.

가장 바람직하게, 본 발명의 가르침은 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는, 프로그램 저장 유닛 상에 실체적으로 구체화되는 응용 프로그램으로서 구현될 수도 있다. 응용 프로그램은, 임의의 적당한 구조를 포함하는 기계로 업로드되거나, 그러한 기계에 의해 실행될 수도 있다. 바람직하게, 그러한 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM"), 그리고 입력/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령어(microinstruction) 코드를 포함할 수도 있다. 본 명세서에 기재된 다양한 프로세스 및 기능은 마이크로명령어 코드의 부분, 또는 응용 프로그램의 부분 중의 하나일 수도 있으며, 또는 그들의 임의의 조합일 수도 있으며, 이들은 CPU에 의해 실행될 수도 있다. 또한, 추가적인 데이터 저장 유닛 및 프린팅 유닛과 같은 다양한 다른 주변기기 유닛이 컴퓨터 플랫폼으로 연결될 수도 있다.

첨부 도면에 도시된 구성 시스템 구성요소들 및 방법들의 일부는 바람직하게 소프트웨어로 구현되므로, 시스템 구성요소들 또는 프로세스 기능 블록들 사이의 실제 연결은 본 발명이 프로그래밍되는 방법에 따라서 달라질 수도 있다는 것이 또한 이해되어야 한다. 본 명세서의 상기 가르침들이 주어지면, 당업자라면 본 발명의 이러한 그리고 유사한 구현들 또는 구성들을 예측하는 것이 가능할 것이다.

본 명세서에서 예시적 실시예들이 첨부 도면을 참조하여 설명되었지만, 본 발명은 바로 그 실시예들로 제한되지 않으며, 본 발명의 범위 또는 사상으로부터 벗어나지 않으면서 당업자에 의해 그러한 실시예들에 다양한 변화 및 수정이 실행될 수도 있다는 것이 이해되어야 한다. 모든 그러한 변화 및 수정은 첨부되는 청구항에 설명된 본 발명의 범위 내에 포함되도록 의도된다.

100: 인코더 200: 디코더
105, 135: 결합기 110: 변환기
115: 양자화기 120: 엔트로피 코더
125: 역 양자화기 130: 역 변환기
145: 인트라 예측기 150: 디블로킹 필터
155: 기준 화상 저장기 160: 기준 화상 저장기
165: 패리티 불일치/조사 보상기 170: 패리티 불일치/조사 추정기
175: 움직임 보상기 180: 움직임 추정기

Claims (40)

1. 장치로서,
   적어도 두 개의 화상을 인코딩하기 위한 인코더(100)로서, 인코더는 적어도 하나의 필터링된 기준 화상을 각각 얻기 위해 적어도 두 개의 화상 각각에 대한 적어도 하나의 기준 화상을 각각 필터링하고, 각각 얻어진 적어도 하나의 필터링된 기준 화상을 사용하여 적어도 두 개의 화상을 예측 가능하게 인코딩하는, 인코더(100)를 포함하고,
   필터링을 위해 사용된 파라미터 필터들의 적어도 하나의 세트는 화상 또는 화상이 속하는 비디오 시퀀스를 인코딩하기 전에 미리 한정되고, 상기 미리 한정된 세트는 화상과 적어도 하나의 기준 화상 사이의 예상된 부정합(mismatch)에 기초하여 추정되고, 파라미터 필터들의 적어도 하나의 미리 한정된 세트의 계수들은, 예상된 부정합을 보상하는 필터들의 그룹을 추정하는 것과, 필터들의 추정된 그룹의 적어도 일부를 분류하는 것에 기초하여 계산되는, 장치.
2. 적어도 두 개의 화상을 인코딩하기 위한 방법으로서,
   적어도 하나의 필터링된 기준 화상을 각각 얻기 위해, 적어도 두 개의 화상 각각에 대한 적어도 하나의 기준 화상을 각각 필터링하는 단계와,
   각각 얻어진 적어도 하나의 필터링된 기준 화상을 사용하여 적어도 두 개의 화상을 예측 가능하게 코딩하는 단계를
   포함하고, 필터링을 위해 사용된 파라미터 필터들의 적어도 하나의 세트는 화상 또는 화상이 속하는 비디오 시퀀스를 인코딩하기 전에 미리 한정되고, 상기 미리 한정된 세트는 화상과 적어도 하나의 기준 화상 사이의 예상된 부정합에 기초하여 추정되고, 파라미터 필터들의 적어도 하나의 미리 한정된 세트의 계수들은, 예상된 부정합을 보상하는 필터들의 그룹을 추정하는 것과, 필터들의 추정된 그룹의 적어도 일부를 분류하는 것에 기초하여 계산되는, 적어도 두 개의 화상을 인코딩하기 위한 방법.
3. 제 2항에 있어서,
   파라미터 필터링을 위해 사용할 파라미터 필터들의 상이한 서브세트들 중에서의 적어도 하나의 서브세트와, 적어도 하나의 서브세트에서의 필터들의 순서 중 적어도 하나는, 적어도 두 개의 화상 중 적어도 하나의 화상과 각각 얻어진 적어도 하나의 기준 화상 사이의 부정합의 추정에 기초하여 선택되고, 추정은 움직임 정보, 깊이 정보, 움직임 탐색, 및 불일치(disparity) 탐색 중 적어도 하나에 기초하는(410), 적어도 두 개의 화상을 인코딩하기 위한 방법.
4. 제 3항에 있어서,
   추정은 적어도 두 개의 화상 중 적어도 하나의 화상을 상이한 타입의 부정합을 지닌 구역들로 분할함으로써 수행되는(410), 적어도 두 개의 화상을 인코딩하기 위한 방법.
5. 제 3항에 있어서,
   적어도 두 개의 화상 중 적어도 하나의 화상에 대해 각각 얻어진 적어도 하나의 필터링된 기준 화상은, 인코딩 선택 및 시그널링에 대한 상이한 기준 인덱스와 연관되는(420), 적어도 두 개의 화상을 인코딩하기 위한 방법.
6. 제 3항에 있어서,
   대응하는 디코더에 의해 적어도 두 개의 화상 중 적어도 하나의 화상의 재구성을 허용하도록 결과 비트스트림에서의 기준 화상 순서와 파라미터 필터들의 적어도 하나의 선택된 서브세트를 시그널링하는 단계(425)를 더 포함하는, 적어도 두 개의 화상을 인코딩하기 위한 방법.
7. 장치로서,
   적어도 두 개의 화상을 디코딩하기 위한 디코더(200)로서, 디코더는 적어도 하나의 필터링된 기준 화상을 각각 얻기 위해 적어도 두 개의 화상 각각에 대한 적어도 하나의 기준 화상을 각각 필터링하고, 각각 얻어진 적어도 하나의 필터링된 기준 화상을 사용하여 적어도 두 개의 화상을 예측 가능하게 디코딩하는, 디코더(200)를 포함하고,
   상기 디코더(200)는 적어도 하나의 기준 화상을 파라미터 필터링하도록 사용하기 위해 적어도 하나의 미리 한정된 세트로부터 파라미터 필터들의 적어도 하나의 세트를 선택하고, 필터들의 적어도 하나의 미리 한정된 세트는 화상 또는 화상이 속하는 비디오 시퀀스를 인코딩하기 전에 미리 한정되고, 필터링을 위해 사용된 파라미터 필터들의 적어도 하나의 세트는 화상 또는 화상이 속하는 비디오 시퀀스를 디코딩하기 전에 미리 한정되고, 상기 미리 한정된 세트는 화상과 적어도 하나의 기준 화상 사이의 예상된 부정합에 기초하여 추정되고, 파라미터 필터들의 적어도 하나의 미리 한정된 세트의 계수들은, 예상된 부정합을 보상하는 필터들의 그룹을 추정하는 것과, 필터들의 추정된 그룹의 적어도 일부를 분류하는 것에 기초하여 계산되는, 장치.
8. 적어도 두 개의 화상을 디코딩하기 위한 방법으로서,
   적어도 하나의 필터링된 기준 화상을 각각 얻기 위해, 적어도 두 개의 화상 각각에 대한 적어도 하나의 기준 화상을 각각 필터링하는 단계와,
   각각 얻어진 적어도 하나의 필터링된 기준 화상을 사용하여, 적어도 두 개의 화상을 예측 가능하게 디코딩하는 단계를
   포함하고, 상기 디코딩하는 단계에서, 적어도 하나의 기준 화상을 파라미터 필터링하도록 사용하기 위해 필터들의 적어도 하나의 미리 한정된 세트로부터 파라미터 필터들의 적어도 하나의 세트가 선택되고, 필터링을 위해 사용된 파라미터 필터들의 적어도 하나의 세트는 화상 또는 화상이 속하는 비디오 시퀀스를 디코딩하기 전에 미리 한정되고, 상기 미리 한정된 세트는 화상과 적어도 하나의 기준 화상 사이의 예상된 부정합에 기초하여 추정되고, 파라미터 필터들의 적어도 하나의 미리 한정된 세트의 계수들은, 예상된 부정합을 보상하는 필터들의 그룹을 추정하는 것과, 필터들의 추정된 그룹의 적어도 일부를 분류하는 것에 기초하여 계산되는, 적어도 두 개의 화상을 디코딩하기 위한 방법.
9. 제 1항에 있어서,
   파라미터 필터들의 상이한 서브세트들 중에서의 적어도 하나의 서브세트는 파라미터 필터링을 위해 사용하도록 선택 또는 결정되고, 적어도 하나의 서브세트에서의 필터들의 순서가 선택 또는 결정되는, 장치.
10. 제 9항에 있어서,
    파라미터 필터링을 위해 사용하도록 파라미터 필터들의 적어도 하나의 서브세트는, 적어도 하나의 높은 레벨의 구문 요소를 사용하여 시그널링되거나, 적어도 하나의 높은 레벨의 구문 요소로부터 결정되는, 장치.
11. 제 9항에 있어서,
    파라미터 필터들의 적어도 하나의 서브세트에서의 필터들의 순서는 적어도 하나의 높은 레벨의 구문 요소와 적어도 하나의 서브세트에서의 필터들의 수령 순서 중 적어도 하나로부터 결정되는, 장치.
12. 제 9항에 있어서,
    적어도 두 개의 화상 각각에 대해 각각 얻어진 적어도 하나의 필터링된 기준 화상은, 디코딩 선택을 위한 상이한 기준 인덱스와 연관되는, 장치.
13. 제 8항에 있어서,
    파라미터 필터들의 상이한 서브세트들 중에서의 적어도 하나의 서브세트는 파라미터 필터링을 위해 사용하도록 선택 또는 결정되고, 적어도 하나의 서브세트에서의 필터들의 순서가 선택 또는 결정되는(620), 적어도 두 개의 화상을 디코딩하기 위한 방법.
14. 제 13항에 있어서,
    파라미터 필터링을 위해 사용하도록 파라미터 필터들의 적어도 하나의 서브세트는, 적어도 하나의 높은 레벨의 구문 요소를 사용하여 시그널링되거나, 적어도 하나의 높은 레벨의 구문 요소로부터 결정되는(620), 적어도 두 개의 화상을 디코딩하기 위한 방법.
15. 컴퓨터 프로그램 제품이 저장된 컴퓨터 판독 가능한 저장 매체로서,
    컴퓨터 프로그램 제품은 적어도 하나의 필터링된 기준 화상을 각각 얻기 위해 적어도 두 개의 화상 각각에 대한 적어도 하나의 기준 화상을 각각 파라미터 필터링하고, 각각 얻어진 적어도 하나의 필터링된 기준 화상을 사용하여 적어도 두 개의 화상을 예측 가능하게 코딩함으로써 인코딩된 적어도 두 개의 화상을 갖는 비디오 신호 데이터의 인코딩을 수행하기 위한 프로그램 코드 명령어를 포함하고,
    필터링을 위해 사용된 파라미터 필터들의 적어도 하나의 세트는 화상 또는 화상이 속하는 비디오 시퀀스를 인코딩하기 전에 미리 한정되고, 상기 미리 한정된 세트는 화상과 적어도 하나의 기준 화상 사이의 예상된 부정합에 기초하여 추정되고, 파라미터 필터들의 적어도 하나의 미리 한정된 세트의 계수들은, 예상된 부정합을 보상하는 필터들의 그룹을 추정하는 것과, 필터들의 추정된 그룹의 적어도 일부를 분류하는 것에 기초하여 계산되는, 컴퓨터 판독 가능한 저장 매체.
16. 제 7항에 있어서,
    파라미터 필터들의 상이한 서브세트들 중에서의 적어도 하나의 서브세트는 파라미터 필터링을 위해 사용하도록 선택 또는 결정되고, 적어도 하나의 서브세트에서의 필터들의 순서가 선택 또는 결정되는, 장치.
17. 제 16항에 있어서,
    파라미터 필터링을 위해 사용하도록 파라미터 필터들의 적어도 하나의 서브세트는, 적어도 하나의 높은 레벨의 구문 요소를 사용하여 시그널링되거나, 적어도 하나의 높은 레벨의 구문 요소로부터 결정되는, 장치.
18. 제 16항에 있어서,
    파라미터 필터들의 적어도 하나의 서브세트에서의 필터들의 순서는 적어도 하나의 높은 레벨의 구문 요소와 적어도 하나의 서브세트에서의 필터들의 수령 순서 중 적어도 하나로부터 결정되는, 장치.
19. 제 16항에 있어서,
    적어도 두 개의 화상 각각에 대해 각각 얻어진 적어도 하나의 필터링된 기준 화상은, 디코딩 선택을 위한 상이한 기준 인덱스와 연관되는, 장치.
20. 제 16항에 있어서,
    상기 디코더(200)는 파라미터 필터들의 적어도 하나의 결정된 세트와, 적어도 두 개의 화상을 포함하는 비트스트림으로부터의 기준 화상 순서를 결정하는, 장치.
21. 제 20항에 있어서,
    기준 화상 순서는 적어도 하나의 높은 레벨의 구문 요소로부터 결정되는, 장치.
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제

Images