KR102263625B1 - 티어드 신호 품질 계층에서의 모션 맵들 및 다른 보조 맵들의 업샘플링 및 다운샘플링 - Google Patents

티어드 신호 품질 계층에서의 모션 맵들 및 다른 보조 맵들의 업샘플링 및 다운샘플링 Download PDF

Info

Publication number
KR102263625B1
KR102263625B1 KR1020147015734A KR20147015734A KR102263625B1 KR 102263625 B1 KR102263625 B1 KR 102263625B1 KR 1020147015734 A KR1020147015734 A KR 1020147015734A KR 20147015734 A KR20147015734 A KR 20147015734A KR 102263625 B1 KR102263625 B1 KR 102263625B1
Authority
KR
South Korea
Prior art keywords
quality
auxiliary
level
map
information
Prior art date
Application number
KR1020147015734A
Other languages
English (en)
Other versions
KR20140092898A (ko
Inventor
루카 로사토
귀도 메아르디
Original Assignee
루카 로사토
귀도 메아르디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루카 로사토, 귀도 메아르디 filed Critical 루카 로사토
Publication of KR20140092898A publication Critical patent/KR20140092898A/ko
Application granted granted Critical
Publication of KR102263625B1 publication Critical patent/KR102263625B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

본 명세서에서의 특정 구성들은 제 2 레벨의 품질의 보조 맵을 획득하기 위해 제 1 레벨의 품질의 보조 맵(예를 들면, 모션 맵, z-맵 등)의 해상도를 변경하는 것을 포함한다. 예를 들면, 해상도의 변경은 하나 또는 그 초과의 더 낮은 레벨들의 품질의 하나 또는 그 초과의 벡터들의 각각의 보조 맵을 수신하는 것, 그리고, 새로운 동작들을 통하여, 보조 맵을 계층의 더 높은 또는 더 낮은 레벨들의 품질로 점진적으로 정제하는 것을 포함한다.

Description

티어드 신호 품질 계층에서의 모션 맵들 및 다른 보조 맵들의 업샘플링 및 다운샘플링{UPSAMPLING AND DOWNSAMPLING OF MOTION MAPS AND OTHER AUXILIARY MAPS IN A TIERED SIGNAL QUALITY HIERARCHY}
모션 추정은 통상적으로 비디오 시퀀스의 인접한 프레임들로부터, 하나의 픽처(picture)에서 다른 픽처로의 변환을 설명하는 모션 벡터(motion vector)들을 결정하는 프로세스이다. 모션 추정은 전형적으로, 이미지에서 그것들의 위치가 변할 수 있지만, 이미지 값들(적합한 색 공간에서 나타나는 밝기, 색, 등)은 시간에 대하여 일정하다는 가정에 기반한다.
MPEG에서, 모션 벡터들은 전체 이미지(글로벌 모션 추정), 또는 직사각형 블록들, 임의의 형상의 조각(patch)들 또는 심지어 이미지의 각각의 엘리먼트 마다와 같은 특정 부분들과 관련할 수 있다. 모든 모션 벡터들의 맵("모션 맵(motion map)")은 따라서 그것과 관련한 이미지/프레임들과 상이한 해상도를 가질 수 있다. 이미지의 각각의 엘리먼트 당(예를 들면, 비디오의 프레임의 각각의 픽셀 당) 모션 벡터가 연산되는 모션 추정의 경우에, 모션 맵("정확한" 또는 "조밀한" 모션 맵)은 그것과 관련된 이미지와 동일한 해상도를 가질 것이다.
모션 맵들은 다양한 애플리케이션들에 대하여 유용하다.
먼저, 그것들은 디코더에 이미 알려진 이전의 기준 프레임에 기반하여 프레임의 렌디션(rendition)을 생성하게 하여("모션 보상"), 이전 프레임들로부터 재사용될 수 있는 정보를 다시 전송할 필요를 방지하기 때문에, 그것들은 비디오 인코딩의 압축률을 현저하게 개선할 수 있다 : 디코더는 모션 벡터가 지시하는 기준 프레임에서의 엘리먼트의 설정들에 기반하여 현재의 프레임에서 주어진 엘리먼트에 대한 설정들을 생성할 수 있다. 사실상, 기본 모션 추정 및 모션 보상 기법들은 다수의 연속적인 프레임들의 이동하는 픽처에서 물체의 움직임을 설명하기 위해 종래의 비디오 코덱들(예를 들면, MPEG 패밀리 코덱들 또는 다른 주파수-변환 기반/블록-기반 코덱들)에서 이용되어 왔다. 예를 들면, 블록 모션 보상(BMC)을 이용하여, 프레임들은 픽셀들의 블록들로 분할될 수 있다. 현재의 프레임의 각각의 블록 B는 기준 프레임의 동일 크기의 블록 B0에 기반하여 예측될 수 있다. 현재의 프레임의 B의 위치에 대한 기준 프레임의 블록 B0의 위치는 모션 벡터로 인코딩될 수 있다. 이러한 경우들에서, 모션 벡터는 픽셀들의 블록의 반대의 추정된 x 및 y 움직임을 나타낸다(특히, 움직임이 B0에서 B까지 이지만, 그것은 B에서 B0까지를 지시하기 때문에 그것은 반대의 움직임을 나타낸다). 인코더가 전체 픽셀보다 적은 미묘한 움직임들을 또한 캡처할 수 있기를 원하기 때문에, 모션 벡터는 전형적으로 서브 픽셀 정밀도(precision)로 인코딩된다(즉, 픽셀의 부분들의 움직임들을 또한 특정할 수 있음). MPEG 패밀리 코덱들에 따르면, 블록들은 예측된 블록의 위치로 시프트되는 것 이외에, 변환되지 않고, 추가 인코딩된 정보는 블록 B0와 블록 B 사이의 차이들을 나타낼 수 있다.
비디오 인코딩에 더하여, 또한 로봇 공학(조밀한 모션 필드(motion field)는 Z-차수(order)의 이미지, 즉, 이미지와 관련되고 깊이를 느끼는 z-맵을 추정하도록 도울 수 있음)에서 전문적인 영화 촬영후 편집(post-production)/시각 효과들까지의 범위를 갖는, 모션 추정으로부터 이익을 얻을 수 있는 다른 애플리케이션들이 있을 수 있다.
정확한/조밀한 모션 맵들의 추정은 매우 복잡하고, 그래서 종래의 모션 추정 기법들은 블록 매칭(현재의 프레임의 작은 구역은, 몇몇 에러 기준을 최소화하는 벡터가 선택될 때까지, 전형적으로 서브 픽셀 모션 추정을 고려하기 위해 오버샘플링된 기준 프레임의 유사한 크기의 구역들과 비교됨) 또는 광 흐름(optical flow) 방법들(이미지는 수 천의 특징들을 추출하도록 사전처리되고, 그 다음, 알고리즘은 특징들의 정확한 모션을 식별하고 보간을 통하여 조밀한 모션 맵을 연산하도록 시도함) 중 어느 하나에 의존한다.
모션 맵들은 "보조 맵들"로 정의된 것, 즉, 주어진 신호들의 부분들에 대하여(예를 들면, 조밀한 보조 맵들의 경우에서, 신호의 모든 평면 엘리먼트에 대하여), 보조 맵이 부분/엘리먼트와 관련된 적합한 정보 및/또는 메타-정보를 명시하는 방식으로, 신호(2D 이미지, 3D 입체 이미지(volumetric image), 공간 및 시간-기반 차원들 양자를 포함하는 3D 신호, 또는 심지어 3차원들보다 많은 특징의 신호일 수 있는)와 관련된 보조 정보의 맵들의 단지 특정 예들이다. 모션 맵들의 경우에서, 이러한 보조 정보는 모션 벡터의 좌표들로 그리고 모션 벡터와 관련된 추가 메타-정보로 표현된다.
모션 맵들 이외에, 보조 맵들의 다른 비-한정적인 예들은 모션 필드들(신호의 모든 부분/엘리먼트의 모션에 관한 단순화된 정보, 예를 들면, 움직임들의 주어진 범위 내의 모션으로 움직이는 것과 범위 외의 움직임으로 정지하거나 움직이는 것 사이를 구별하기에 적합한, 크게 양자화된 모션 정보를 제공하는)이 단순화된 z-맵들(신호의 모든 부분/엘리먼트들에 대하여, 관찰자로부터의 필드의 깊이/거리에 관한 정보를 제공하는), 클래스 맵(class map)(신호의 모든 부분/엘리먼트에 대하여, 어떤 클래스가 그것에 속하는지에 관한 정보를 제공하는, 예를 들면, 의료 이미징시, 뼈들, 소프트 조직들, 유체들, 금속들 등에 속하는 평면 엘리먼트들 사이를 구별하는) 등이다.
보조 맵들의 주요 특징들 중 하나는 그것들이 급격한 불연속성들에 의해 분리된 동질의 영역들을 공정하게 나타낸다는 것이고, 보간 기법들 또는 다른 표준 업샘플링/다운샘플링 기법들을 레버리지함으로써(leverage) 그것들의 해상도를 수정하는 것(예를 들면, 더 낮은 해상도 맵으로부터 시작하여 더 정확한 맵을 획득하는 것, 또는 그 반대)은 종종 부적합하다. 예를 들면, 비디오에서, 2개의 상이한 모션들을 보간함으로써 연산된 모션 벡터에 의해 상이한 방식으로 이동하는 2개의 모션 존들 사이의 전이(transition)에서 엘리먼트의 모션을 정의하는 것은, 보간이 2개의 움직임들 중 하나와 관계가 없는 움직임을 초래할 것이기 때문에, 부적합할 것이다. 유사한 방식으로, 의료 이미지에서, 뼈와 소프트 조직 사이의 전이시, 2개의 대응하는 클래스들을 보간함에 의해 엘리먼트의 값을 정의하는 것은, 보간된 클래스가 그 콘텍스트(context)에서 의미가 없을 것이기 때문에, 부적합할 것이다.
어떤 종래의 접근법들도, 보조 맵들의 특유의 위상 특성들(예를 들면, 서로 사이의 매우 급격한 전이들을 갖는 공정하게 동질의 영역들의 존재)뿐만 아니라 이용가능할 수 있는 추가 정보 및 메타-데이터(예를 들면, 보조 맵이 관련된 대응하는 이미지 및/또는 보조 맵의 콘텐츠들에 관한 메타-데이터) 양자를 고려함으로써, 보조 맵(즉, 업샘플링 또는 다운샘플링 양자)의 정확도의 해상도/레벨을 지능적으로 수정하기 위해 이용가능하지 않다.
본 명세서의 실시예들은 종래의 시스템들 및 방법들에 대하여 벗어나고, 보조 맵들의 해상도 및 정확도의 레벨을 수정하기 위한 새로운 방법들을 제공한다.
단순화를 위해, 본 명세서에서 설명되는 실시예들은 2D 보조 맵들, 그리고 특히, 2D 모션 맵들(예를 들면, 현재의 2D 이미지의 좌표들에서 기준 2D 이미지의 좌표들로의 오프셋을 제공하는 각각의 벡터를 갖는 2차원 모션 벡터들의 필드들)에 관한 것이지만, 동일한 개념들이 또한 보조 정보(예를 들면, 보조 벡터들- 즉, 보조 맵의 각각의 엘리먼트와 관련된 보조 값들의 어레이들 - 및/또는 보조 벡터들에 관련된 메타-정보의 형태로)를 포함하는 임의의 다른 유형들의 다차원 보조 맵들에 대하여 적용한다. 비-한정적인 예들에 의해, 다른 유형들의 보조 정보는 깊이를 나타내는 z-차수 정보의 필드들, 각각이 현재의 입체 이미지(volumetric image)의 좌표들에서 기준 입체 이미지의 좌표들로의 오프셋을 제공하는 3차원 모션 벡터들의 필드들 등을 포함한다. 본 명세서에서 설명되는 동일한 접근법들은 "모션 벡터"를 "보조 벡터"로 단순히 대체함으로써, 다른 유형들의 보조 맵들에 적용가능하다.
또한, 본 명세서에서 설명되는 비-한정적인 예의 실시예들에서, 2의 스케일 인자들이 전형적으로 2개의 상이한 레벨들의 품질 사이에 적용되지만, 동일한 개념들이 비-정수 스케일 인자들을 포함하는 임의의 스케일 인자들에 대하여 적용된다.
보조 맵들이 관련된 신호들은 비디오(RGB, YUV, HSV 등과 같은 적합한 색 공간에서 인코딩된)의 픽처/프레임들, 다른 다차원 시간-기반 신호들(예를 들면, 여기서, 차원들 중 하나가 시간을 나타냄) 또는 다른 유형들의 신호들(예를 들면, 입체 이미징, 홀로그램 이미징, 플래놉틱(plenotipc)/광-필드(light-field) 이미징, 의료 이미징, 과학 이미징, 열전도 맵(thermal map)들 등)을 나타낼 수 있다.
모션 맵들에서, 모션 벡터들 좌표들은 임의의 적합한 좌표계(예를 들면, 카테시안 좌표계(Cartesian system), 극 좌표계 등)로 표시될 수 있다. 이는 모션 맵들에 대하여 항상 카테시안 좌표계들을 이용하는 종래의 시스템들 및 방법들에서 벗어난다.
본 명세서에서의 실시예들은 계층의 다수의 레벨들의 품질로 모션 맵들과 같은 보조 맵들을 생성하는 것을 포함한다.
제 1 레벨의 품질로 각각의 모션 벡터의 서브-엘리먼트들에 대하여 각각의 모션 벡터들을 생성하기 위해, 제 1 레벨의 품질의 모션 벡터들 및 그것들의 각각의 메타-데이터를 이용하는 것에 더하여, 본 명세서에서의 실시예들은 제 2 레벨의 품질의 모션 벡터들에 대한 값들을 결정하기 위해 제 2 레벨의 품질의 이미지들(예를 들면, 기준 이미지 또는 가능한 경우, 현재의 이미지 중 어느 하나)의 색 전이 정보를 식별하고 이용하는 것을 포함할 수 있다. 예를 들면, 본 명세서에서의 일 실시예는 제 1 레벨의 품질의 선택된 엘리먼트와 관련된 적어도 하나의 보조 벡터에 기반하여 제 2 레벨의 품질의 기준 이미지에서 서브-엘리먼트들에 대한 색 정보를 식별하는 것 및 서브-엘리먼트들에 대한 각각의 모션 벡터들을 생성하기 위해 색 정보를 이용하는 것을 포함하고, 각각의 모션 벡터들의 값들은 또한 색 정보에 의해 나타낸 바와 같은 색 전이들에 기반하여 연산된다. 따라서, 비-한정적인 예에 의해, 각각의 모션 벡터들은 색 정보에 의해 나타낸 바와 같은 색 전이들을 따를 수 있다.
제 2 레벨의 품질의 모션 맵을 획득하기 위해 제 1 레벨의 품질의 모션 맵의 해상도를 변경하는 것은 많은 방식들에서 유용하다. 예를 들면, 본 명세서에서의 일 실시예는 하나 또는 그 초과의 더 낮은 레벨들의 품질의 하나 또는 그 초과의 벡터들의 각각의 모션 맵을 수신하는 것, 및 새로운 업샘플링 동작들에 의해, 계층 위로 더 높은 레벨들의 품질로(예를 들면, 더 높은 해상도로) 모션 맵을 점진적으로 정제하는 것을 포함한다. 모션 맵이 더 높은 레벨들의 품질로 생성되기 때문에, 모션 맵의 해상도는 변한다.
일 실시예에서, 신호 프로세서는 모션 맵을 수신하고 재구성한다. 모션 맵은 기준 이미지에서의 엘리먼트들에 대한 현재의 이미지에서의 엘리먼트들 사이의 관계를 정의한다. 예를 들면, 모션 맵은 관계를 식별하고 하나의 프레임에서 다음 프레임으로의 물체들의 움직임을 나타내도록 인코딩될 수 있다.
시퀀스에서의 이미지들의 각각은 계층의 다수의 상이한 레벨들의 품질로 인코딩될 수 있다. 계층의 더 낮은 레벨의 품질로부터 현재의 이미지에 대한 각각의 모션 맵을 업샘플링하기 위해, 신호 프로세서는 제 1 레벨의 품질의 모션 맵 중에서 주어진 엘리먼트를 선택한다. 신호 프로세서는 계층의 제 2(예를 들면, 다음 더 높은) 레벨의 품질의 모션 맵의 다수의 서브-엘리먼트들을 생성하기 위해 제 1 레벨의 품질의 모션 맵에서 주어진 엘리먼트를 세분한다. 다음 더 높은 레벨의 품질의 모션 맵들에서 세분된 엘리먼트들에 대하여 유도된 설정들은 세분되어 있고 다음 더 높은 레벨의 품질로 업샘플링되어 있는 엘리먼트의 부근에서 다수의 이웃하는 엘리먼트들 또는 인근의 엘리먼트들의 설정들에 기반하여 유도될 수 있다.
본 명세서에서 논의된 바와 같이, 모션 벡터들 및/또는 모션 벡터들의 메터-정보와 같은 다른 정보(예를 들면, 비-한정적인 예에 의해, 각각의 모션 벡터의 정밀도를 나타내는 파라미터들, 각각의 모션 맵의 공분산 정보를 나타내는 파라미터들 등) 및/또는 제 1 또는 다른 레벨의 품질로 현재의 프레임에서 또는 기준 프레임에서 다수의 엘리먼트들에 할당된 색 전이 정보(예를 들면, 비-한정적인 예로서, YUV, RGB, HSV 등과 같은 색 공간에서의 색 설정 정보)에 적어도 부분적으로 기반하여, 신호 프로세서는 제 2 레벨의 품질로 모션 맵에 대한 서브-엘리먼트들의 각각에 대한 각각의 모션 벡터를 생성할 수 있다.
일 실시예에서, 신호 프로세서는 제 2 레벨의 품질의 모션 맵의 선택된 엘리먼트들을 정제하도록(즉, 선택된 모션 벡터들을 수정하도록) 하는 추가 정보(예를 들면, 이미지들에 대한 재구성 데이터의 형태로)를 수신할 수 있다.
모션 맵을 다음 더 높은 레벨의 품질로 변환하는 이런 프로세스를 반복함으로써, 신호 프로세서는 모션 맵과 관련된 현재의 이미지들에 대하여 훨씬 더 높고 더 높은 레벨들의 품질의 하나 또는 그 초과의 모션 맵들을 재생할 수 있다.
일 실시예에서, 더 높은 레벨의 품질의 이미지에 대한 모션 맵은 이미지와 같은 대응하는 신호의 재구성을 용이하게 하는 조밀한 모션 맵이다.
비디오 프레임들의 시퀀스에서의 각각의 프레임은 모션 맵들의 계층을 포함하도록 인코딩될 수 있다.
따라서, 본 명세서에서의 실시예들은 종래의 시스템들 및 방법들에 대하여 벗어난다. 예를 들면, 본 명세서에서의 일 실시예는 하나 또는 그 초과의 더 낮은 레벨들의 품질로 하나 또는 그 초과의 벡터들의 각각의 모션 맵을 생성하는 것 및 새로운 업샘플링 동작들을 통하여, 모션 맵을 계층 위의 더 높은 레벨들의 품질로 점진적으로 정제하는 것을 포함한다.
일 실시예에서, 현재의 프레임에 대하여 제 2 레벨의 품질로 각각의 서브-엘리먼트들 각각에 대하여 생성된, 모션 맵에서의 각각의 모션 벡터들은(즉, 보조 맵)은 각각의 서브-엘리먼트들과 관련된 기준 프레임의 제 2 레벨의 품질에서 대응하는 엘리먼트를 나타낼 수 있다. 예를 들면, 현재의 프레임에서 주어진 서브-엘리먼트들에 대한 모션 벡터는 기준 프레임에서 각각의 엘리먼트의 위치를 나타낼 수 있다. 주어진 서브-엘리먼트들에 대한 모션 벡터는 다수의 엘리먼트들의 필드에서, 물체 또는 주어진 서브-엘리먼트들에 의해 나타낸 바와 같은 다른 자원이 기준 프레임에서의 위치에서 현재의 프레임에서의 위치로 이동했던 양을 나타낸다. 따라서, 현재의 프레임의 제 2 레벨의 품질로 다수의 서브-엘리먼트들의 각각의 서브-엘리먼트들에 대하여 생성된 각각의 모션 벡터는 필드에서, 기준 프레임에서 대응하는 엘리먼트에 의해 나타낸 바와 같이, 현재의 프레임에서 각각의 서브-엘리먼트들의 위치로의 물체의 움직임을 나타낼 수 있다.
따라서, 더 많은 특정 실시예들에 따르면, 각각의 모션 벡터의 사용에 의해, 신호 프로세서는 적어도 부분적으로 현재의 프레임에서의 제 2 레벨의 품질의 각각의 서브-엘리먼트에 대한 디스플레이 설정을 식별하기 위해 현재의 프레임에서의 각각의 서브-엘리먼트들에 관련된 기준 프레임에서 대응하는 엘리먼트의 디스플레이 설정을 이용하도록 구성될 수 있다.
일 실시예에 따르면, 모션 벡터들의 해상도는 대응하는 모션 벡터가 주어진 레벨의 품질로 기준 프레임에서의 엘리먼트(예를 들면, 제 1 위치)에서 현재의 프레임에서의 엘리먼트(예를 들면, 새로운 위치)로의 엘리먼트의 단편적인 움직임들을 나타낼 수 있도록 충분히 높은 해상도일 수 있다는 것에 유의하라. 환언하면, 모션 벡터의 해상도는 대응하는 레벨의 품질의 각각의 모션 맵의 해상도보다 높은 해상도일 수 있다.
이들 및 다른 실시예 변형들이 더 상세하게 아래에 논의된다.
위에서 언급된 바와 같이, 본 명세서에서의 실시예들은 본 명세서에서 개시된 방법 동작들의 임의의 것 또는 모두를 수행하고 및/또는 지원하기 위해 하나 또는 그 초과의 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 핸드헬드 또는 랩톱 컴퓨터들, 셋-톱 박스들 등의 구성을 포함할 수 있다는 것에 유의하라. 환원하면, 하나 또는 그 초과의 컴퓨터화된 디바이스들 또는 프로세서들은 상이한 실시예들을 수행하기 위해 본 명세서에서 설명된 바와 같이 동작하도록 프로그래밍되고 및/또는 구성될 수 있다.
위에서 언급된 바와 같은 기법들에 더하여, 본 명세서에서의 또 다른 실시예들은 위에서 요약되고 아래에 상세하게 개시된 단계들 및 동작들을 수행하기 위한 소프트웨어 프로그램들을 포함한다. 하나의 이러한 실시예는 프로세서 및 대응하는 메모리를 갖는 컴퓨터화된 디바이스에서 수행되는 경우, 프로세서가 본 명세서에서 개시된 동작들의 임의의 것을 수행하도록 프로그램하고, 및/또는 수행하도록 하는, 그 상에서 인코딩된 컴퓨터 프로그램 로직, 지시들 등을 포함하는 컴퓨터-판독가능한 하드웨어 저장 자원(즉, 비-일시적인 컴퓨터 판독가능한 매체들)을 포함한다. 이러한 방식들은 광학 매체(예를 들면, CD-ROM), 플로피 또는 하드 디스크와 같은 컴퓨터 판독가능한 매체 또는 하나 또는 그 초과의 ROM 또는 RAM 또는 PROM 칩들에서의 펌웨어 또는 마이크로코드와 같은 다른 매체 상에 배열되거나 인코딩된 소프트웨어, 코드, 및/또는 다른 데이터(예를 들면, 데이터 구조체들)로서, 또는 주문형 반도체(ASIC)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 다른 이러한 구성들은 컴퓨터화된 디바이스가 본 명세서에서 설명된 기법들을 수행하게 하기 위해 컴퓨터화된 디바이스들 상에 설치될 수 있다.
따라서, 본 개시내용의 하나의 특정 실시예는 신호 처리 동작들을 지원하기 위해 그 상에 저장된 지시들을 갖는 컴퓨터-판독가능한 하드웨어 저장 매체를 포함하는 컴퓨터 프로그램 물건에 관한 것이다. 예를 들면, 일 실시예에서, 지시들은, 각각의 컴퓨터 디바이스의 프로세서에 의해 수행되는 경우, 프로세서가 제 1 레벨의 품질의 보조 맵의 렌디션 중에서 엘리먼트를 선택하고; 제 1 레벨의 품질의 선택된 엘리먼트를 다수의 서브-엘리먼트들로 세분하며 - 다수의 서브-엘리먼트들은 보조 맵에 대하여 계층에서 제 2 레벨의 품질이고, 제 2 레벨의 품질은 제 1 레벨의 품질보다 높음 -; 및 제 1 레벨의 품질의 보조 맵에서 적어도 하나의 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 보조 맵의 제 2 레벨의 품질로 서브-엘리먼트들의 각각에 대하여 각각의 보조 정보를 생성하도록 한다.
단계들의 순서는 명료성을 위해 추가되었다. 이들 단계들은 임의의 적합한 순서로 수행될 수 있다.
본 개시내용의 다른 실시예들은 위에서 요약되고 아래에 상세하게 개시된 방법 실시예 단계들 및 동작들의 임의의 것을 수행하기 위한 소프트웨어 프로그램들, 펌웨어, 및/또는 각각의 하드웨어를 포함한다.
또한, 본 명세서에서 논의된 바와 같이, 시스템, 방법, 장치, 컴퓨터 판독가능한 저장 매체들 상의 지시들 등은 소프트웨어 프로그램으로서, 소프트웨어, 펨웨어, 및/또는 하드웨어의 하이브리드로서, 또는 프로세서 내 또는 운영 체제 내 또는 소프트웨어 애플리케이션 내와 같은 단독 하드웨어 등으로서 정확하게 구현될 수 있음이 이해될 것이다.
위에서 논의된 바와 같이, 본 명세서에서의 기법들은 신호들을 처리하고 모션 벡터, 모션 맵들, 보조 맵들 등을 생성하는 소프트웨어, 펨웨어, 및/또는 하드웨어 애플리케이션들에서의 사용에 완전히 적합하다. 그러나, 본 명세서에서의 실시예들은 이러한 애플리케이션들에서 사용하도록 한정되지 않으며, 본 명세서에서 논의된 기법들은 다른 애플리케이션들도 완전히 적합하다는 것에 유의해야 한다.
게다가, 본 명세서에서의 상이한 특징들, 기법들, 구성들 등의 각각이 본 개시내용의 상이한 위치들에서 논의될 수 있지만, 개념들의 각각은 서로 독립적으로 또는 서로의 조합으로 실행될 수 있다는 것이 의도되는 것에 유의하라. 따라서, 본 명세서에서 설명된 바와 같이, 하나 또는 그 초과의 본 발명들, 실시예들은 많은 상이한 방식들로 구현되고 간주될 수 있다.
또한, 본 명세서에서의 실시예들의 이런 예비의 논의는 본 개시내용 또는 청구된 발명(들)의 모든 실시예 및/또는 증가적으로 새로운 양상을 특정하지 않는다는 것에 유의하라. 대신, 이런 간단한 설명은 단지 일반적인 실시예들 및 종래의 기법들에 비하여 신규성의 대응하는 포인트들을 제시할 뿐이다. 본 발명(들)의 추가 세부사항들 및/또는 가능한 관점들(치환들)에 대하여, 독자는 아래에 더 논의된 바와 같은 본 개시내용의 상세한 설명 섹션 및 대응하는 도면들에 안내된다.
본 명세서에서 사용된 바와 같이, 용어 "화소(pel)"는 평면 엘리먼트를 지칭한다: 2-D에서, 이미지들은 픽셀들과 동등하다. 따라서, 픽셀은 화소의 유형이다.
본 명세서에서 언급된 바와 같은 모션 맵 업샘플링 기법들은 인코더(예를 들면, 조밀한 모션 맵을 생성하기 위한 단계들 중 하나로서), 및 디코더(예를 들면, 티어-기반 처리 알고리즘을 레버리지하는 인코더에 의해 전송된 조밀한 모션 맵을 디코딩하기 위한 단계들 중 하나로서) 양자에서 사용될 수 있다.
일 실시예에서, 인코더는 또한 모션 맵 다운샘플링을 레버리지하는데, 이는 모션 맵 업샘플링 방법론으로부터 용이하게 유도되고, 동일한 원리들(그것은 기본적으로 스케일 인자가 1보다 작은 업샘플링이다)을 레버리지한다.
업샘플링 방법론은 다음 레벨의 품질로 업샘플링된 모션 맵의 각각의 모션 벡터 Xi를 연산하는 것을 목적으로 한다. 본 명세서에서 논의된 바와 같은 핵심 개념들/혁신들은 다음 기법들 중 하나 또는 그 초과를 포함할 수 있다:
■ 모션 맵들의 계층을 생성, 이들의 각각은 기능적인 모션 맵이다. 이는 더 낮은 품질의 모션 맵은 그것의 각각의 더 낮은 품질 현재의 이미지에 대한 모션 맵이었고, 더 높은 품질 모션 맵은 그것의 각각의 더 높은 품질 현재의 이미지에 대한 모션 맵임을 의미한다.
■ 본 명세서에서 처리는 Xi(클래식 필터, 선형 또는 비선형 중 어느 하나, 즉, 모션 벡터들 Wj를 적용하기 위한 가중 계수들의 매트릭스를 의미함)를 연산하기 위해 각각의 새로운 고 해상도 모션 벡터 부근인 저 해상도 맵에서 모션 벡터 Wj의 좌표들을 반드시 고려하지 않지만, 본 명세서에서의 실시예들은 3개의 개별 세트들의 정보를 레버리지하는 것을 포함한다:
- 모션 벡터들의 좌표들, 임의의 적합한 좌표계(카테시안, 극 좌표계 등)로 표현됨
- 모션 벡터 정밀도 정보("모션 벡터 메타데이터의 비-한정적인 예 : 추가 유형들의 메타데이터는 모션 벡터 등을 획득하기 위해 필요했던 연산들을 지칭할 수 있음), 예를 들면, 공분산의 형태로 표현됨(어휘 주의 : 정밀도는 공분산이 낮은 경우 높고; 수학적으로, 공분산은 숫자이며, 정밀도는 일반적으로 공분산의 역으로서 연산되고; 공분산이 매트릭스인 경우, 정밀도는 예를 들면, 공분산 매트릭스의 트레이스(trace)의 역으로서 연산될 수 있다). 모션 벡터 공분산 정보(또는 정밀도 정보)는 주어진 모션 벡터가 정확하게 연산되었는지가 얼마나 확실한지를 전달한다 : 높은 공분산(즉, 낮은 정밀도)은 식별된 모션 벡터가 그것의 주변의, 가능하면 또한 그것과 매우 상이한, 대략 그것만큼 그 화소에 대하여 적합했던 다수의 모션 벡터들을 가졌음을 나타내고; 낮은 공분산(즉, 높은 정밀도)은 식별된 모션 벡터가 정확했으며, 그것 주변의(그리고 그것에 매우 유사한) 매우 작은 다른 것들은 유사하게 그 화소에 대하여 적합했음을 나타낸다. 업샘플링 시, 다수의 모션 벡터들이 확실히 옳은/정밀한 것이고 몇몇 다른 것들이 아마도 틀린 경우, 옳은 것들에 더 높은 가중치를 주는 것은 적합하다. 공분산/확실성(confidence) 정보가 인코딩되는 방식에 대하여 말하면, 모션 벡터 공분산 정보의 실시예/예는 모든 벡터에 대하여 벡터의 공분산을 설명하는 공분산 매트릭스(그것이 대칭 매트릭스이기 때문에, 사실상 그것의 계수들의 몇몇만)를 저장하고; 다른 예는 1차원 값(예를 들면, 공분산 매트릭스의 트레이스 등)만을 가질 것이다.
- 모션 맵이 지칭하는 이미지의 색 설정 정보, 예를 들면, 화소의 각각의 색 성분의 설정들의 가중 평균의 형태로 표현됨(예를 들면, YUV 색 공간에서의 비한정적인 예로서, Y 색 = a·Y + b·U + c·V, 여기서 a, b 및 c는 3개의 적합한 가중치 파라미터임). 이는 모션 벡터들의 급격한 전이들이 통상적으로 물체들의 색 전이들을 따르기 때문에 이루어지고, 그래서 더 높은 레벨의 품질의 색 설정 정보를 검사함으로써, 유용한 힌트들("경계 스냅핑(snapping)")을 얻을 수 있다. 검사하기 위한 가장 우수한 픽처는 현재 이미지일 것이지만, 불행히도 그것은 항상 이용가능한 것은 아니다 : 특히, 그것은 인코더에서 이용가능하지만, 디코더는 그것이 더 높은 레벨의 품질로 현재의 이미지를 재구성하기 위해 필요하기 때문에 그것이 모션 맵을 정확하게 업샘플링하고 있는 이후로 그것을 아직 이용가능하지 않다. 더 높은 레벨의 품질의 현재의 이미지가 이용가능하지 않은 경우, 그러나, 거친 모터보상(motocompensation)에 대하여 더 낮은 레벨의 품질의 모션 맵을 이용하여, 기준 이미지(또한 디코더에서 항상 이용가능한)의 더 높은 레벨의 품질을 레버리지할 수 있다.
위에서 설명된 3개의 세트들의 정보를 동시에 고려하기 위한 하나의 방식은 삼방향 필터(trilateral filter)("삼방향" 커널이 3개의 개별 커널들을 곱함으로써 획득되기 때문)의 다음 예에서와 같은, 그 커널이 다수의 개별 커널들의 곱셈의 결과인 필터를 레버리지하는 것이다 :
Figure 112014054184865-pct00001
■ 제 1 커널, H는 선형(즉, 벡터들 Wj의 값들에 의존하지 않음) 또는 비선형 필터(즉, 각각의 단일 Wj에 할당하기 위한 가중치들은 사실상 벡터들 Wj의 값들의 적어도 몇몇에 의존함) 중 어느 하나일 수 있다. 특히, 커널 H는 Xi가 그것의 주변들에 "위치"되는 더 낮은 레벨의 벡터들의 몇몇의 가중 평균의 몇몇 형태임을 확실하게 한다. 하나의 선형 실시예는 바이큐빅(bicubic) 필터를 사용할 것이며, 이는 더 높은 레벨의 품질의 모든 벡터 Xi의 좌표들이 더 낮은 레벨의 품질에서 가장 가까운 16개의 모션 벡터들의 좌표들에 의해 영향을 받을 것(도 5a)을 의미할 것이다. 다른 선형 실시예는 이중선형(bilinear) 필터를 사용할 것이고, 그래서, 각각의 Xi는 단지 4개의 벡터들에 의해서만 영향을 받을 것이다(한 번 더 도 5a). 란초스(Lanczos) 필터(6x6, 64개의 벡터들) 또는 임의의 다른 유형의 필터, 또한 비 선형을 이용하는 것과 같은 다른 대안들이 물론 가능하다. 비-선형 H의 실시예는 다수(majority)-기반 비 선형 프리-컨디셔닝(pre-conditioning)(수학적으로 설명하는 것이 더 어려운, 도 5b 참조)일 것이고, 여기서, Xi 둘레 바로 옆의 "지배적인 벡터(dominant vector)"는 임계를 넘는 지배적인 벡터와 상이한 모든 벡터들 Wj의 가중치들이 0으로 설정되는 방식으로 커널의 가중치들에 영향을 준다.
■ 제 2 커널, F는 어느 정도 평균에 달하는 벡터들의 각각의 가중치들이, 이들 벡터들(더 낮은 레벨의 품질의 현재의 이미지를 갖고 있기 때문에 잘고 있는)에 대응하는 화소의 색이 Xi에 대응하는 화소의 색과 매우 상이했던 경우, 강하게 감소되어야 하는 것을 고려한다. 물론 이렇게 하기 위해, Xi에 대응하는 화소의 색, 또는 그것의 적합한 추정을 가져야 한다. 이러한 추정을 갖는다고 가정하면, F를 구현하기 위한 하나의 비-한정적인 실시예는 각각의 벡터를 더 낮은 품질 현재의 이미지에서 그 벡터에 대응하는 화소의 색 설정들과, 더 높은 품질 이미지에서 Xi에 대응하는 화소의 색 설정들 사이의 차이의 함수로 가중하는 것이다.
■ 제 3 커널, G는 모션 벡터들 Wj에 주어진 가중치들을 그것의 메타데이터에 기반하여 추가로 수정한다. 정밀도/공분산 정보를 레버리지하는 예의 실시예는 벡터들을 비교적 낮은 정밀도(즉, 비교적 높은 공분산)로 불리하게 할 것이다. 그렇게 하기 위한 하나의 비-한정적인 실시예는, 각각의 모션 벡터의 공분산 레벨이 1차원 값 α(예를 들면, 공분산 매트릭스의 트레이스 σ2, 즉, 매트릭스의 대각선에서의 엘리먼트들의 합)로 표현되는 경우, 각각의 벡터 j의 가중치를 다음의 파라미터로 조정할 것이다:
Figure 112014054184865-pct00002
.
■ 필터링 동작(얼마나 많은 커널들이 최종 커널을 획득하기 위해 곱셈되었는지와 상관없이)은 궁극적으로 더 낮은 레벨의 품질의 모션 벡터들 W에 적용되어야 하는 가중치들의 세트를 생성한다. 필터링/곱셈 이전의 최종 단계로서, 그렇지만, 가중치들을 정규화하는 것은 항상 중요하다: 가중치들의 모두의 합은 1과 동일해야 하고, 그렇지 않으면, 해상도를 변경하는 동안 스케일링 인자를 벡터들에 적용할 것이다. 따라서, 적합한 파라미터 Normi로 H·F·G의 합계를 1로 정규화하는 것은 중요하고, 다음의 공식을 획득한다:
Figure 112014054184865-pct00003
.
본 명세서에서의 실시예들은 H, F 및 G의 모든 가능한 조합을 구현하는 것을 포함하고, 가능성들의 모두를 명백하게 언급한다는 것에 유의하라 : 필터링 동작의 최종 커널은 H 단독으로, F 단독으로, G 단독으로, H·F, H·G, F·G, H·F·G로서 획득될 수 있다. 이는 또한 이용가능한 Y-색 정보 또는 모션 벡터 메타데이터를 항상 갖는 것은 아니라는 사실에 기인한다.
더 높은 레벨들의 모션 맵의 모션 벡터들의 좌표들을 연산하는 것을 제외하고, 본 명세서에서의 실시예들은 또한 위치 i에서 벡터의 메타데이터 βi, 즉, 다음 레벨의 품질에 대한 모션 벡터 메타데이터를 또한 연산하기 위해 동일한 원리들(그리고 가능하면 동일한 공식들)을 레버리지할 수 있다는 것에 더 유의하라. 하나의 비-한정적인 실시예는, 예를 들면, 정밀도 값을 다음과 같이 연산한다(제곱은 분산들이 제곱수(squared number)들이라는 사실에 기인한다):
Figure 112014054184865-pct00004
.
본 명세서에서 더 상세하게 논의된 바와 같이, 본 명세서에서의 일 실시예는 제 1 레벨의 품질의 보조 맵 및 계층의 다수의 상이한 레벨들의 품질로 인코딩된 신호에 기반하여 계층의 제 2 레벨의 품질의 보조 맵을 생성하는 방법을 포함한다. 방법은 : 제 1 레벨의 품질의 보조 맵의 렌디션(rendition)으로부터 엘리먼트를 선택하는 단계; 제 1 레벨의 품질의 선택된 엘리먼트를 다수의 서브-엘리먼트들로 세분하는 단계 - 다수의 서브-엘리먼트들은 보조 맵에 대하여 계층의 제 2 레벨의 품질이고, 제 2 레벨의 품질은 제 1 레벨의 품질보다 더 높음 - ; 및 제 1 레벨의 품질의 보조 맵의 적어도 하나의 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 보조 맵의 제 2 레벨의 품질의 서브-엘리먼트들의 각각에 대한 각각의 보조 정보를 생성하는 단계를 포함한다.
추가 실시예들에 따르면, 제 2 레벨의 품질은 제 1 레벨의 품질보다 높고, 방법은 : 제 1 레벨의 품질의 보조 맵의 렌디션으로부터 다수의 엘리먼트들을 선택하는 단계; 제 1 레벨의 품질의 다수의 엘리먼트들을 모(parent) 엘리먼트로 모으는 단계 - 모 엘리먼트는 보조 맵에 대하여 계층의 제 3 레벨의 품질이고, 제 3 레벨의 품질은 제 1 레벨의 품질보다 낮음 -; 및 제 1 레벨의 품질의 보조 맵의 적어도 하나의 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 제 3 레벨의 품질의 모 엘리먼트에 대한 각각의 보조 정보를 생성하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 제 2 레벨의 품질의 보조 맵은 또한 제 2 레벨의 품질의 신호에 대한 보조 맵이다. 방법은 : 다수의 상이한 레벨들의 품질의 보조 맵들의 계층을 생성하는 단계 - 각각의 보조 맵은 대응하는 레벨의 품질의 신호에 대한 보조 정보를 포함함 -를 더 포함할 수 있다.
추가 실시예들에 따르면, 보조 정보는 각각의 레벨의 품질의 기준 이미지 정보에 기반하여 신호를 재구성하는 프로세스를 지원할 수 있다.
추가 실시예들에 따르면, 보조 맵은 모션 벡터들을 포함하는 모션 맵일 수 있고, 모션 벡터들은 하나의 엘리먼트에서 다른 엘리먼트로의 관계를 나타낸다.
추가 실시예들에 따르면, 보조 맵은 z-맵일 수 있고; 그리고 보조 정보는 보조 맵이 대응하는 레벨의 품질을 지칭하는 신호의 엘리먼트들의 깊이를 나타내는 보조 엘리먼트들을 포함할 수 있다.
추가 실시예들에 따르면, 보조 맵은 클래스 맵일 수 있고, 보조 엘리먼트들은 보조 맵과 관련된 신호 신호의 각각의 엘리먼트에 할당된 클래스와 관련된 정보를 포함할 수 있다.
추가 실시예들에 따르면, 보조 맵의 각각의 평면 엘리먼트와 관련된 보조 정보는 보조 벡터들과 함께, 보조 벡터들의 콘텐츠들과 관련된 메타-정보를 포함할 수 있고; 그리고 보조 맵의 각각의 평면 엘리먼트와 관련된 메타-정보는 보조 벡터들에 대한 통계적 정보를 포함한다.
추가 실시예들에 따르면, 모션 벡터 좌표들은 극 좌표계를 이용하여 표현될 수 있다.
추가 실시예들에 따르면, 방법은 : 보조 맵에서 주어진 엘리먼트에 대응하는 신호 엘리먼트를 식별하는 단계; 제 1 레벨의 품질의 식별된 신호 엘리먼트와 인접하는 제 1 레벨의 품질의 신호에서 엘리먼트들의 세트를 식별하는 단계; 식별된 신호 엘리먼트들의 세트와 관련된 보조 벡터들을 분석하는 단계; 및 식별된 엘리먼트들의 세트 와 관련된 보조 벡터들에 따라 보조 맵에서 제 2 레벨의 품질의 특정 서브-엘리먼트에 대한 각각의 보조 벡터를 생성하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 제 2 레벨의 품질의 각각의 보조 벡터는 선형 필터를 제 1 레벨의 품질의 식별된 엘리먼트들의 세트 와 관련된 보조 벡터들에 적용함으로써 획득될 수 있다.
추가 실시예들에 따르면, 방법은 : 제 1 레벨의 품질의 주어진 엘리먼트의 특정 서브-엘리먼트에 이웃하는 제 1 레벨의 품질의 엘리먼트들의 다수(majority)가 범위 내의 실질적으로 동일한 보조 벡터 값에 할당되는 것을 검출하는 것에 응답하여, 연산된 보조 벡터 값을 다수의 서브-엘리먼트들의 특정 서브-엘리먼트에 할당하는 단계 - 연산된 보조 벡터 값은 이웃하는 엘리먼트들의 보조 벡터들의 값들의 가중 평균으로부터 유도되고, 이의 가중치들은 실질적으로 동일한 보조 벡터에 대한 각각의 보조 벡터의 유사성에 의존함 - 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 신호의 현재의 이미지의 설정 정보에 적어도 부분적으로 기반하여 보조 맵을 생성하는 단계 - 보조 맵은 현재의 이미지와 관련됨 -를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 신호의 기준 이미지의 설정 정보에 적어도 부분적으로 기반하여 보조 맵을 생성하는 단계 - 보조 맵은 기준 이미지에 적어도 부분적으로 기반하여 유도되는 신호의 현재의 이미지와 관련됨 -를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 더 낮은 해상도 모션 맵에 의해 적응된 기준 이미지의 더 높은 해상도 렌디션을 이용함으로써, 기준 이미지로부터 설정 정보를 레버리지하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 설정 정보를 레버리지하는 방법은 : 제 1 레벨의 품질의 선택된 엘리먼트와 관련된 적어도 하나의 보조 벡터에 기반하여 제 2 레벨의 품질의 기준 이미지에서 서브-엘리먼트들에 대한 색 정보를 식별하는 단계; 서브-엘리먼트들에 대한 각각의 보조 벡터들을 생성하기 위해 색 정보를 이용하는 단계 - 각각의 보조 벡터들의 값들은 색 정보에 의해 나타내는 바와 같은 색 전이들을 따름 - 를 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 현재의 이미지들 및 기준 이미지들의 티어-기반(tier-based) 계층을 지칭하는 보조 맵들의 티어-기반 계층의 콘텍스트에서 현재의 이미지 또는 기준 이미지 중 어느 하나의 이미지 설정 정보를 레버리지하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 선형 커널(kernel)을 이미지 설정들에 기반한 커널과 곱함으로써 획득된 커널로 특징되는 필터를 제 1 레벨의 품질의 맵의 보조 벡터들의 콘텐츠들에 적용함으로써 제 1 레벨의 품질의 보조 맵을 생성하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 선형 커널은 이중선형 필터, 바이큐빅 필터, 란초스 필터, 미첼-네트라빌리(mitchell-netravali) 필터, 및 가우스(Gaussian) 필터로 이루어진 그룹에서 선택된 고차 필터(higher-order filter)일 수 있다. 추가 실시예들에 따르면, 방법은 : 제 1 레벨의 품질의 보조 맵의 보조 벡터들의 좌표들에, 비-선형 커널을 이미지 설정들의 함수인 커널과 곱함으로써 획득된 커널로 특징되는 필터를 적용하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 보조 벡터들에 관한 메타-정보를 또한 레버리지함으로써, 보조 맵을 생성하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 메타-정보는 각각의 보조 벡터의 정밀도, 또는 각각의 벡터의 공분산(covariance) 정보, 또는 벡터들의 상대적인 또는 절대적인 품질을 나타내는 임의의 적합한 값을 나타내는 파라미터들을 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 제 1 레벨의 품질의 맵 의 보조 벡터들에, 커널이 선형 커널을 이미지 설정들에 따른 커널과 곱하고 그 다음 보조 벡터 메타-정보의 함수인 커널과 곱함으로써 획득되는 필터를 적용함으로써, 제 2 레벨의 품질의 보조 맵의 렌디션을 생성하기 위해 이미지 설정 정보 및 메타-정보를 레버리지하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 보조 벡터 정보를 생성하기 위해 사용된 커널의 함수인 커널을 레버리지하는 이전의 레벨의 품질의 보조 맵의 메타-정보를 필터링함으로써, 새로운 레벨의 품질의 보조 맵의 보조 벡터들에 대한 메타-정보를 연산하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 모션 맵들의 계층을 업샘플링하고 생성함에 의해 보조 맵을 정제하는(refine) 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 방법은 : 보조 맵을 디코딩하는 단계 - 디코딩하는 단계는 보조 맵을 업샘플링하기 위해 제 1 항에 인용된 단계들을 이용하는 단계를 포함함 -, 더 높은 레벨의 품질의 보조 맵의 렌디션을 재구성하기 위해 각각의 업샘플 동작 후에 재구성 데이터를 추가하는 단계를 더 포함할 수 있다.
추가 실시예들에 따르면, 보조 맵은 모션 맵일 수 있다.
추가 실시예들에 따르면, 방법은 : 멀티-레벨 티어-기반 디코딩 프로토콜에 따라 보조 맵을 디코딩하는 단계를 더 포함할 수 있다.
본 명세서에서의 추가 실시예들은 그 상에 저장된 지시들(instruction)을 갖는 컴퓨터-판독가능한 저장 하드웨어를 포함하고, 지시들은, 처리 디바이스에 의해 수행되는 경우, 처리 디바이스가, 제 1 레벨의 품질의 보조 맵의 렌디션으로부터 엘리먼트를 선택하고; 제 1 레벨의 품질의 선택된 엘리먼트를 다수의 서브-엘리먼트들로 세분하며 - 다수의 서브-엘리먼트들은 보조 맵에 대하여 계층의 제 2 레벨의 품질이고, 제 2 레벨의 품질은 제 1 레벨의 품질보다 더 높음 - ; 그리고 제 1 레벨의 품질의 보조 맵에서 적어도 하나의 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 보조 맵의 제 2 레벨의 품질의 서브-엘리먼트들의 각각에 대한 각각의 보조 정보를 생성하는 동작들을 수행하게 한다.
위에서 간략하게 설명된 개념들은 대응하는 도면들에서 설명되고 아래에 더 논의된다.
본 발명의 상술한 것 및 다른 목적들, 특징들, 및 장점들은, 유사 참조 부호들이 상이한 도면들에 걸쳐 동일한 부분들을 지칭하는 첨부된 도면들에 도시된 바와 같이, 본 명세서에서의 바람직한 실시예들의 다음의 더 특별한 설명으로부터 명백해질 것이다. 도면들은 실시예들, 원리들, 개념들 등의 설명시 위치되는 대신 강조로 반드시 스케일 되지 않는다.
도 1은 본 명세서에서의 실시예들에 따른 상이한 레벨들의 품질로 인코딩된 기준 이미지에 대한 현재 이미지의 설정들을 예시하는 예시적인 다이어그램이다.
도 2는 본 명세서에서의 실시예들에 따른 모션 벡터 및 모션 벡터 정보의 사용을 예시하는 예시적인 다이어그램이다.
도 3a는 본 명세서에서의 실시예들에 따른 다수의 레벨들의 품질의 이미지 설정들 및 모션 맵들을 예시하는 예시적인 다이어그램이다.
도 3b는 본 명세서에서의 실시예들에 따른 다수의 레벨들의 품질의 이미지 설정들 및 모션 맵들을 예시하는 예시적인 다이어그램이다.
도 4는 본 명세서에서의 실시예들에 따른 신호 프로세서 및 업샘플링 모션 맵들의 상이한 실시예들을 예시하는 예시적인 다이어그램이다.
도 5a는 본 명세서에서의 실시예들에 따른 일방향, 선형 필터를 이용하여 엘리먼트의 다수의 서브-엘리먼트들로의 업샘플링을 예시하는 예시적인 다이어그램이다.
도 5b는 본 명세서에서의 실시예들에 따른 일방향, 비-선형 필터를 이용하여 엘리먼트의 다수의 서브-엘리먼트들로의 업샘플링을 예시하는 예시적인 다이어그램이다.
도 5c는 본 명세서에서의 실시예들에 따른 일방향, 비-선형 필터를 이용하여 엘리먼트의 다수의 서브-엘리먼트들로의 업샘플링을 예시하는 예시적인 다이어그램이다.
도 6은 본 명세서에서의 실시예들에 따른 양방향 필터를 이용하여 엘리먼트의 다수의 서브-엘리먼트들로의 업샘플링을 예시하는 예시적인 다이어그램이다.
도 7a는 본 명세서에서의 실시예들에 따른 삼방향 필터를 이용하여 엘리먼트의 다수의 서브-엘리먼트들로의 업샘플링을 예시하는 예시적인 다이어그램이다.
도 7b는 본 명세서에서의 실시예들에 따른 상이한 업샘플링 알고리즘들을 예시하는 예시적인 다이어그램이다.
도 8은 본 명세서에서의 실시예들에 따른 모션 맵들을 업샘플링하기 위한 신호 프로세서를 예시하는 예시적인 다이어그램이다.
도 9는 본 명세서에서의 실시예들에 따른 업샘플링하는 방법을 예시하는 예시적인 다이어그램이다.
도 10a, 도 10b 및 도 10c는 본 명세서에서의 실시예들에 따른 하나 또는 그 초과의 레벨들의 품질의 설정 정보에 기반하여 모션 벡터들에 대한 상이한 방식들을 예시하는 예시적인 다이어그램들이다.
도 11은 본 명세서에서의 실시예들에 따른 모션 추정 동안 모션 맵 업샘플링의 사용을 예시하는 예시적인 다이어그램이다.
도 12는 본 명세서에서의 실시예들에 따른 모션 맵 디코딩 동안 모션 맵 업샘플링의 사용을 예시하는 예시적인 다이어그램이다.
도 13a는 본 명세서에서의 실시예들에 따른 모션 맵을 다운샘플링하기 위한 신호 프로세서를 예시하는 예시적인 다이어그램이다.
도 13b는 본 명세서에서의 실시예들에 따른 이중선형 커널 H 필터를 갖는 양방향 다운샘플링을 예시하는 예시적인 다이어그램이다.
도 14는 본 명세서에서의 실시예들에 따른 인코더 기능 및 디코더 기능을 예시하는 예시적인 다이어그램이다.
도 15는 본 명세서에서의 실시예들에 따른 컴퓨터 코드, 펌웨어, 소프트웨어, 애플리케이션들, 로직, 방법들 등을 실행하기 위한 예시적인 컴퓨터 아키텍처를 예시하는 다이어그램이다.
도 1은 본 명세서에서의 실시예들에 따른 상이한 레벨들의 품질로 각각이 인코딩된 기준 이미지에 대한 현재 이미지의 설정들을 예시하는 예시적인 다이어그램이다.
일반적으로, 다수의 상이한 레벨들의 품질의 신호 설정 정보의 각각의 열(column)은 디스플레이에 대하여 더 높은 레벨의 품질의 엘리먼트들의 각각의 프레임의 재생을 가능하게 한다. 전형적으로, 각각의 프레임에 대한 더 낮은 레벨의 품질의 이미지의 렌디션에 의해 캡처된 물체들은 인식할 수 없다. 그러나, 이미지들은 재생을 위하여 더 낮은 레벨의 품질에서 각각의 더 높은 레벨의 품질로 업샘플링된다. 도시된 바와 같이, 더 높은 레벨의 품질의 이미지들은 하나의 프레임에서 다른 프레임으로 이동하는 물체(120)와 같은 식별할 수 있는 형상들을 포함한다.
비-한정적인 예로서, 기준 이미지(100)의 설정들은 비디오의 시퀀스에서 제 1 프레임을 나타낼 수 있고, 현재의 이미지(110)의 설정들은 비디오의 시퀀스에서 제 2 프레임을 나타낼 수 있는 등이다. 언급된 바와 같이, 물체(120)는 하나의 프레임에서 다음 프레임으로 삼각형에 대하여 이동한다.
도시된 바와 같이, 열들의 시퀀스(예를 들면, 프레임)는, 각각의 계층에서, 기준 이미지(100)의 설정들, 현재의 이미지(110)의 설정들 등을 포함한다. 시퀀스에서 프레임들에 대하여 재구성된 이미지들의 재생은 상이한 열들에서 각각의 재구성 데이터를 디코딩하는 것 그리고 디스플레이 스크린 상의 이미지들에 의해 캡처된 바와 같은 이동하는 이미지들을 디스플레이하는 것을 포함할 수 있다.
제 1 프레임에 대한 원래의 신호의 재구성(예를 들면, 이미지 설정 정보, 모션 맵들 등과 같은 재구성 데이터)은 하나의 레벨의 품질에서 다음 레벨의 품질로의 반복되는 업샘플링을 포함할 수 있다. 예를 들면, 기준 이미지의 렌디션을 생성하기 위한 업샘플링은 기준 이미지(100-1)의 설정들을 레벨의 품질(101)에서 다음 더 높은 레벨의 품질(102)의 기준 이미지(100-2)의 설정들로의 업샘플링하는 단계, 기준 이미지(100-2)의 설정들을 레벨의 품질(102)에서 다음 더 높은 레벨의 품질(103)의 기준 이미지(100-3)의 설정들로의 업샘플링하는 단계 등을 포함할 수 있다.
현재의 이미지의 렌디션을 생성하기 위한 업샘플링은 현재의 이미지(110-1)의 설정들을 레벨의 품질(101)에서 다음 더 높은 레벨의 품질(102)의 현재의 이미지(110-2)의 설정들로의 업샘플링하는 단계, 현재의 이미지(110-2)의 설정들을 레벨의 품질(102)에서 다음 더 높은 레벨의 품질(103)의 현재의 이미지(110-3)의 설정들로의 업샘플링하는 단계 등을 포함할 수 있다.
도 1에서 엘리먼트들은 임의의 적합한 유형의 데이터 정보를 나타낼 수 있다는 것에 유의하라. 비-한정적인 예로서, 상이한 레벨들의 품질의 엘리먼트는 이미지 데이터, 심볼들 등일 수 있고, 각각의 이미지에서 다수의 신호 엘리먼트들(예를 들면, 화소/평면 엘리먼트들, 픽셀/픽처 엘리먼트들, 3D화소/입체 픽처 엘리먼트들 등)의 각각의 설정들을 나타낼 수 있다. 이미지는 2차원(예를 들면, 픽처들, 비디오 프레임들, 2D 모션 맵들 등), 3차원(예를 들면, 3D/입체 이미지들, 홀로그래픽 이미지들, CAT-스캔들, 의료/과학 이미지들, 3D 모션 맵들 등), 또는 심지어 3차원들보다 많은 특징일 수 있다. 이러한 실시예에 따르면, 신호 엘리먼트들의 설정들은 재생을 위한 원래의 신호를 디바이스 상에서 어떻게 재구성하는지를 나타낸다.
각각의 엘리먼트는 색, 색조(hue) 등과 같은 하나 또는 그 초과의 설정들에 의해 정의될 수 있다. 이러한 실시예에 따르면, 신호 데이터에서 엘리먼트의 색 성분은 YUV, RGB, HSV 등과 같은 적합한 색 공간 표준에 따라 인코딩될 수 있다.
일 실시예에서, 열에서 가장 높은 레벨의 품질은 각각의 프레임의 고-해상도 렌디션을 나타낸다. 신호의 각각의 프레임은 계층에서 하나 또는 그 초과의 더 낮은 레벨들의 품질에 따라(재구성 데이터를 통하여) 인코딩될 수 있다.
일 실시예에서, 가장 높은 레벨의 품질보다 못한 더 낮은 레벨의 품질의 각각의 프레임의 렌디션들은 대응하는 이미지 신호의 원래의 프레임의 더 낮은 해상도 섬네일(thumbnail) 표현들과 유사하다. 예를 들면, 이미지 신호의 렌디션을 재생하기 위한 재구성 데이터는 더 낮은 레벨의 품질로 다운샘플링되었다. 더 낮은 레벨들의 품질의 재구성 데이터는 이미지 신호의 더 낮은 해상도 렌디션들의 설정들을 캡처한다. 더 낮은 레벨들의 품질의 각각의 프레임의 렌디션들은 더 높은 레벨들의 품질의 프레임들의 렌디션들일 것과 같은 신호 세부사항들의 모두를 포함하지 않는다. 일 실시예에서, 더 낮은 레벨의 품질의 신호의 프레임의 렌디션들은 원래의 신호의 조잡한 속성들을 캡처하지만, 원래의 신호의 더 상세하게 질 좋은 속성들은 캡처하지 않는다. 신호의 상세한, 더 질 좋은 속성들은 더 높은 레벨들의 품질의 신호의 프레임의 렌디션에서 나타난다.
언급된 바와 같이, 기준 이미지는 각각의 물체(120)(예를 들면, 원) 또는 하나 또는 그 초과의 다른 프레임들에 걸쳐 일정한 배경에 대하여 이동하도록 나타나는 다수의 물체들을 포함할 수 있다. 즉, 이런 예에서, 원(예를 들면, 물체(120))은 프레임들의 시퀀스에서 이동한다고 가정한다. 물체들은 각각의 프레임들에 대한 이미지 신호의 더 낮은 해상도 버전들이 이동하는 물체의 버전을 포함하도록 재생의 가장 높은 해상도로 충분하게 크게 된다는 것에 유의하라. 도시된 바와 같이, 물체(120)는 하나 또는 그 초과의 더 낮은 또는 가장 낮은 레벨들의 품질의 신호의 각각의 프레임의 렌디션에서 나타나지 않을 수 있다. 그러나, 물체(120)는 더 검출가능하게 되고, 프레임들의 각각에 대하여 더 높은 레벨들의 품질로 정제된다.
도 2는 본 명세서에서의 실시예들에 따른 모션 벡터 및 서브-엘리먼트 정밀도의 개념을 예시하는 예시적인 다이어그램이다.
도시된 바와 같이, 비-한정적인 예로서, 예시적인 레벨의 품질(102)에서, 엘리먼트(200-2)에 대한 모션 벡터(210)는 기준 이미지에서의 엘리먼트(200-1)에 대한 현재의 이미지에서의 엘리먼트(200-2)의 위치 사이의 오프셋을 나타낸다. 모션 벡터(210)는 엘리먼트(200-2)와 관련된 설정들이 기준 이미지에서의 엘리먼트(200-1)와 관련된 설정들에 관련되거나, 이에 적어도 부분적으로 기반하여 유도될 수 있다는 것을 나타낸다.
도시된 바와 같이, 모션 벡터의 정밀도는 대응하는 레벨의 품질의 엘리먼트들의 해상도보다 클 수 있다.
현재의 이미지에서의 각각의 엘리먼트, 서브-엘리먼트 등은 기준 이미지에서의 대응하는 엘리먼트의 위치를 지시하는 모션 벡터를 가질 수 있다.
어떤 경우에, 엘리먼트들에 대한 각각의 모션 벡터는 0이거나 널(null)일 수 있고, 현재의 이미지에서의 대응하는 엘리먼트가 기준 이미지에서의 엘리먼트들에 관련되지 않다는 것을 나타낸다.
모션 벡터(210)에 포함된 정보는 실시예에 따라 변할 수 있다. 예를 들면, 일 실시예에서, 모션 벡터(210)는 기준 이미지에서의 엘리먼트에 대하여 현재의 이미지에서의 대응하는 엘리먼트의 위치 오프셋 값을 특정한다. 각각의 모션 벡터는 오프셋 값과 관련된, 확실성 레벨, 정밀도 등을 나타내는 파라미터와 같은 추가 정보를 포함할 수 있다.
다른 실시예들에 따르면, 모션 벡터는 기준 이미지에서의 대응하는 엘리먼트를 특정할 필요가 없다. 대신, 모션 맵에서의 각각의 엘리먼트에 대한 값들은 엘리먼트와 관련된 모션이 있는지 없는지의 여부를 나타내는 2진수일 수 있다.
도 3a는 본 명세서에서의 실시예들에 따른 모션 맵과 같은 보조 맵의 업샘플링을 예시하는 예시적인 다이어그램이다.
도시된 바와 같이, 현재의 이미지(110)는 대응하는 모션 맵(310)(즉, 보조 맵)을 갖는다. 현재의 이미지에 대한 모션 맵(310)은 도시된 바와 같은 계층에서 더 낮은 레벨의 품질에서 더 높은 레벨들의 품질로 업샘플링될 수 있다.
도시된 바와 같이, 도 2에서, 각각의 모션 맵에서의 각각의 엘리먼트는 모션 벡터(210)(예를 들면, 모션 벡터 정보 또는 메타데이터)를 통하여 대응하는 엘리먼트와 관련된 이미지들 설정들이 기준 이미지에서의 엘리먼트의 설정들로부터 유도될 수 있다는 것을 특정할 수 있다.
이런 예에서, 모션 맵(310-2)에서의 모션 벡터(210)는 현재의 이미지에서의 엘리먼트(200-2)의 설정들이 기준 이미지에서의 엘리먼트(200-1)의 설정들과 관련되거나 그로부터 유도될 수 있다는 것을 특정한다. 따라서, 상이한 레벨들의 품질의 모션 맵들(310)(예를 들어, 모션 맵 310-1, 310-2, 310-3,..., 310-N)은 기준 이미지(즉, 현재 신호)에 대한 현재의 이미지(110)에서의 엘리먼트들(상이한 레벨들의 품질의)의 관계를 나타낸다.
본 명세서에서 논의된 바와 같이, 현재의 이미지에 대한 모션 맵들은 더 낮은 레벨의 품질의 모션 맵(310-1)에서 더 높은 레벨의 품질의 조밀한 모션 맵(310-N)으로 반복적으로 업샘플링될 수 있다.
언급된 바와 같이, 일 실시예에서, 모션 맵들에서의 모션 벡터들은 물체, 다수의 프레임들의 비디오 시퀀스에서 하나의 프레임에서 다음 프레임으로 이동하고 있도록 발생하는 그의 위치를 나타낸다.
도 3b는 본 명세서에서의 실시예들에 따른 현재의 이미지설정 및 대응하는 모션 맵 정보를 예시하는 예시적인 다이어그램이다.
도시된 바와 같이, 레벨의 품질(101)의 이미지의 필드는 A로 라벨된 다수의 엘리먼트를 포함한다. 업샘플링하는 경우, 레벨의 품질(101)의 A로 라벨된 엘리먼트들의 각각은 다음 더 높은 레벨의 품질(102)의 다수의 B-형 엘리먼트들로 세분된다. 예를 들면, 업샘플링 동안, 엘리먼트 A1은 도시된 바와 같이, 엘리먼트들 B1, B2, B3 및 B4로 세분한다.
현재의 이미지에서의 각각의 엘리먼트는 대응하는 모션 맵에 저장된 정보에 기반하여 대응하는 모션 벡터 및 메타데이터를 가질 수 있다는 것을 기억하라. 예를 들면, W1(예를 들면, 모션 벡터) 및 a1(예를 들면, 메타데이터)은 엘리먼트 A1에 관한 정보를 포함하고, W2(예를 들면, 모션 벡터) 및 a2(예를 들면, 메타데이터)는 엘리먼트 A2에 관한 정보를 포함하는 등등이다.
게다가, 레벨의 품질(102)에서, X1 및 b1은 엘리먼트 B1에 관한 정보를 포함하고, X2 및 b2는 엘리먼트 B2에 관한 정보를 포함하는 등등이다.
일 실시예에서, 4개의 엘리먼트들(B1, B2, B3 및 B4)의 모음은 모 엘리먼트 A1이 커버하는 바와 같은 동일한 시각 디스플레이 면적 또는 체적을 커버한다.
도 4는 본 명세서에서의 실시예들에 따른 업샘플링의 다수의 방식들을 예시하는 예시적인 다이어그램이다.
제 1 예에서, 인코더에서, 현재의 이미지에 관한 모든 정보는 더 높은 해상도들로 이용가능하다. 이러한 실시예에서, 신호 프로세서(400-1)는 각각의 모션 맵을 업샘플링하도록 지시하는 업샘플링 명령들을 수신한다. 동작 동안, 모션 맵 해상도 변경기(410-1)는 레벨 K+1의 모션 맵을 유도하기 위해 레벨의 품질 K의 현재의 이미지(110)에 대한 이미지 설정들, 레벨의 품질 K의 현재의 이미지에 대한 대응하는 모션 맵, 및 레벨의 품질 K+1의 현재의 이미지의 이미지 설정들을 이용한다.
제 2 예에서, 디코더에서, 처리는 각각의 모션 맵의 업샘플링을 포함한다. 신호 프로세서(400-1)는 이용가능한 현재의 이미지의 더 높은 해상도 렌디션들을 갖지 않는다. 이러한 실시예에서, 신호 프로세서(400-1)는 어떤 정보가 이용가능한지를 최대한 활용하도록 구성될 수 있고, 기준 이미지(현재의 이미지에 대하여 갖고 있는 가장 근접한 것)의 더 높은 해상도 렌디션을 레버리지할 수 있다.
예를 들면, 이런 후자의 실시예에서, 신호 프로세서(400-1)는 각각의 모션 맵을 업샘플링하도록 지시하는 업샘플링 명령들을 수신한다. 동작 동안, 모션 맵 해상도 변경기(410-1)는 레벨의 품질 K+1의 모션 맵을 생성하기 위해 레벨의 품질 K의 현재의 이미지(110)에 대한 이미지 설정들, 레벨의 품질 K의 현재의 이미지에 대한 모션 맵, 및 레벨의 품질 K+1의 현재의 이미지에 대한 이미지 설정들의 추정을 이용한다. 도시된 바와 같이, 모션 보상기(450-1)는 레벨의 품질 K+1의 현재의 이미지에 대한 이미지 설정들의 추정을 생성하기 위해 레벨의 품질 K의 모션 맵 및 레벨의 품질 K+1의 기준 이미지에 대한 이미지 설정들을 수신한다.
하나의 비-한정적인 실시예는, 엘리먼트 Wj와 같은 동일한 위치들에서 색 설정들을 조사하는 대신, 더 낮은 해상도 모션 맵에서 가장 근접한 모션 벡터와 동일한 오프셋을 적용하는 것을 포함할 수 있다. 따라서, 더 낮은 해상도 모션 맵을 레버지리하는 더 높은 해상도 기준 이미지를 보상하는 것이 가능하다.
본 명세서에서 설명된 바와 같은 해상도 변경기(410-1)는 다용도이라는 것에 유의하라 : 그것은 업샘플링(예를 들면, 디코더에서) 또는 다운샘플링(예를 들면, 디코더 에서) 동안 사용될 수 있다.
도 5a, 도 5b 및 도 5c는 본 명세서에서의 실시예들에 따른 업샘플링의 상이한 기법들을 예시하는 예시적인 다이어그램이다.
일반적으로, 이들 도면들은 모션 맵을 업샘플링하기 위한 "간단한" 필터들(커널 H를 갖는 단방향 필터)들의 예시적인 실시예들을 도시한다. 도시되는 엘리먼트들의 그룹화들은 단지 2개의 레벨들의 품질의 이미지의 일부(예를 들면, 훨씬 더 큰 이미지의 4x4 면적, 이는 8x8 면적으로 업샘플링되어야 함)일 수 있고, 반드시 전체 이미지일 필요가 없다.
단방향 필터들은 어느 하나의 선형(즉, W의 값들에 상관없이 모든 위치 i에 대하여 고정된 계수들의 매트릭스를 커널/가중치들로서 특징으로 하는, 도 5a)일 수 있다.
단방향 필터는 비-선형(예를 들면, i 및 모션 벡터들 W의 특정 값들 양자에 의존하는 계수들의 매트릭스를 커널로서 특징으로 하는, 도 5b)일 수 있다. 선형 커널들의 예들은 이중선형 필터들(여기서, 새로운 레벨의 품질에서의 모든 화소는 이전의 레벨의 품질에서 그것 둘레의 4개의 가장 근접한 화소들에 의해 영향을 받음), 바이큐빅 필터들(16개의 가장 근접한 화소들), 란초스 필터(64개의 가장 근접한 화소들) 등일 것이다.
도 5c는 대다수-기반 비-선형 필터의 예시적인 실시예를 예시한다. Xi에 더 근접한 벡터들에 기반하여 취해진 다수 결정은 표준 커널의 가중치들(예를 들면, 표준 바이큐빅 필터를 적용하는 더 큰 4x4 블록 상의)에 영향을 미치고, "다수 모션 벡터"와 매우 상이한 모션 벡터들의 가중치들을 0으로 설정하며, 그 다음, 정규화된 바이큐빅 필터 가중치들을 잔여 벡터들에 적용한다.
일 실시예에서, 필터들의 식들은 다음과 같다 :
Figure 112014054184865-pct00005
Figure 112014054184865-pct00006
일반적으로, 이들 식들은 계층에서 다음 더 높은 레벨의 품질의 서브-엘리먼트들의 설정을 어떻게 유도하는지를 나타낸다. 예를 들면, 도면들은 레벨 K의 모션 맵(310)이 값들 W6, W7, W10 및 W11을 포함하는 것을 나타낸다. 언급된 바와 같이, 가중치들 W는 레벨의 품질 K의 대응하는 엘리먼트에 대한 모션 벡터 정보를 나타낸다.
도시된 바와 같이, 업샘플링하는 경우, 엘리먼트 W6은 엘리먼트 X1을 포함하는 4개의 엘리먼트들로 세분된다; 엘리먼트 W7은 엘리먼트 X2를 포함하는 4개의 엘리먼트들로 세분된다; 엘리먼트 W10은 엘리먼트 X3을 포함하는 4개의 엘리먼트들로 세분된다; 엘리먼트 W11은 엘리먼트 X4를 포함하는 4개의 엘리먼트들로 세분된다; 등등.
도시된 바와 같이, 본 명세서에서의 일 실시예는 엘리먼트들 W6, W7, W10, 및 W11의 설정들에 기반하여 레벨의 품질 K+1의 모션 맵(310-A)에서 엘리먼트 X1에 대한 모션 벡터 설정 정보를 생성하는 것; 엘리먼트들 W6, W7, W10, 및 W11의 설정들에 기반하여 레벨의 품질 K+1의 모션 맵(310-A)에서 엘리먼트 X2에 대한 모션 벡터 설정 정보를 생성하는 것; 엘리먼트들 W6, W7, W10, 및 W11의 설정들에 기반하여 레벨의 품질 K+1의 모션 맵(310-A)에서 엘리먼트 X3에 대한 모션 벡터 설정 정보를 생성하는 것; 등을 포함한다. Hj에 대한 값들은 가중치들이고, 이의 크기는 필터 H에 기반하여 결정된다.
따라서, 모 엘리먼트(예를 들면, W6)가 분할되는 각각의 서브-엘리먼트(예를 들면, X1)에 대한 모션 벡터 설정 정보는 엘리먼트 W6, W7, W10, 및 W11과 관련된 설정들의 가중치들에 기반할 수 있다; 모 엘리먼트(예를 들면, W7)가 분할되는 각각의 서브-엘리먼트(예를 들면, X2)에 대한 모션 벡터 설정 정보는 엘리먼트 W6, W7, W10, 및 W11과 관련된 설정들의 가중치들에 기반할 수 있다; 등등.
도 5a의 제 2 부분에 도시된 바와 같이, 업샘플링 동안 모션 맵에서의 서브-엘리먼트들에 대한 설정들은 더 낮은 레벨의 품질의 엘리먼트들의 확장된 필드에 기반하여 유도될 수 있다. 예를 들면, 모션 맵(310-B)에서의 엘리먼트들 X는 모션 벡터 정보의 더 넓은 필드의 프레임들의 시퀀스의 설정을 고려하는 대응하는 세트의 식들에 기반하여 유도된다. 예를 들면, 레벨의 품질 K+1의 모션 맵(310-B)에서의 엘리먼트 X1은 엘리먼트들 W1, W2, W3, W4, W5, W6, W7, W8, W9, W10, W11, W12, W13, W14, W15, 및 W16과 관련된 설정들로부터 유도될 수 있다.
도 6은 본 명세서에서의 실시예들에 따른 모션 맵을 업샘플링하기 위한 양방향 필터 기능의 구현을 예시하는 예시적인 다이어그램이다.
도 7a는 본 명세서에서의 실시예들에 따른 모션 맵을 업샘플링하기 위한 삼방향 필터 기능의 구현을 예시하는 예시적인 다이어그램이다.
도 7b는 본 명세서에서의 실시예들에 따른 모션 맵 정보를 업샘플링하기 위해 사용될 수 있는 필터들의 상이한 조합들을 예시하는 예시적인 다이어그램이다.
다이어그램은 필터의 최종 커널(연산되어야 하는 엘리먼트 i의 주변에 16개의 모션 벡터들을 고려하는 커널들을 이용하는 비 한정적인 예시적인 경우들에서)을 획득하기 위해 커널들 H, F, 및 G를 곱하는 개념들의 고레벨 표현들을 도시한다. 일 실시예에서, 필터의 동일한 최종 커널은 또한 새로운 레벨의 품질의 모션 맵의 모션 벡터들에 할당된 새로운 메타데이터를 연산하기 위해 사용될 수 있다.
식들은 H를 비-선형으로서 표현하지만, 선형의 경우(W와 독립적인 H)가 단지 더 일반적인 비-선형의 경우의 특별한 경우라는 것을 특정하는 것이 중요하다.
언급된 바와 같이, 필터들의 임의의 조합은 모션 맵들을 업샘플링하기 위해 사용될 수 있다. 예를 들면, 조합들이 가능하고, H 단독으로(선형 또는 비-선형), F 단독으로, G 단독으로, HF(H 선형 및 H 비-선형 양자), HG(H 선형 및 H 비-선형 양자), FG 및 HFG(H 선형 및 H 비-선형 양자)를 포함한다. 또한, 필터들에 대한 최종 커널을 획득하도록 곱해지는 커널들은 엘리먼트 i에 대한 각각의 메타데이터를 생성하기 위해 사용될 수 있다.
몇몇 예시적인 식들은 다음을 포함한다 : (도 7b가 더 많은 식을 포함한다는 것에 유의하라) :
Figure 112014054184865-pct00007
Figure 112014054184865-pct00008
Figure 112014054184865-pct00009
Figure 112014054184865-pct00010
도 8은 본 명세서에서의 실시예들에 따른 삼방향 필터의 특정 비-한정적인 예시적인 실시예들을 예시하는 다이어그램이다.
다이어그램은 H로서 바이큐빅 커널을 이용하는 비-한정적인 실시예(이는 16개의 엘리먼트들 j에 대하여 i의 위치에 의존하는 단지 4개의 가능한 가중치들의 세트들만이 존재하기 때문에 가중치들이 사전연산될 수 있다는 것을 의미함)를 설명하고, 가중치는 색 설정들로서 F의 차이 및 공분산들에 대한 가중 평균에 관한 간단한 분산에 기반하며, 더 높은 공분산은 모션 벡터에 대한 더 낮은 확실성을 의미한다는 것을 고려한다.
도 8에서의 흐름도는 더 높은 해상도 모션 맵의 특정 모션 벡터 Xi가 어떻게 연산되는지를 설명하고, 즉, 그것은 더 높은 해상도 맵의 단일 화소를 연산한다는 것에 유의하라. 실제로, 많은 화소들로 이루어진 전체 모션 맵을 업샘플링하기 위해 이러한 흐름도를 적용하고 수정하기 위한 다수의 가능한 방식들이 있다 : 전체 처리는 완전히 순차적이거나 완전히 병렬이거나 이의 혼합일 수 있다.
도 9는 본 명세서에서의 실시예들에 따른 업샘플링하는 방법을 예시하는 예시적인 다이어그램이다.
도 10a는 본 명세서에서의 실시예들에 따른 간단한 H 필터를 이용한 모션 벡터들의 업샘플링을 설명하는 예시적인 다이어그램들이다.
각각의 엘리먼트에 대한(예를 들면, 다음 더 높은 레벨의 품질의 각각의 모 엘리먼트 및 각각의 서브-엘리먼트들에 대한) 괄호들에서의 값들은 모션 벡터들의 카테시안 좌표들을 나타낸다. 본 명세서에서 논의된 바와 같은 간단한 H 필터의 적용에 기반하여, 서브-엘리먼트들은 (13.4,10.9), (53,35.6), (52.5,35.3), (60.1,40.1)의 값들로 할당된다. 어떤 경우들에서, H 필터의 사용(본 실시예에서와 같은)은 생성된 모션 벡터 정보가 이미지의 급격한 전이의 불량한 재구성을 초래할 수 있기 때문에 바람직하지 않을 수 있다.
도 10b는 본 명세서에서의 실시예들에 따른 대응하는 엘리먼트들의 색 설정들(예를 들면, 설정들(20 및 80))을 고려하는 F 필터에 의해 캐스케이드된 간단한 H 필터를 이용한 모션 벡터들의 업샘플링을 예시하는 예시적인 다이어그램이다.
각각의 엘리먼트에 대한(예를 들면, 다음 더 높은 레벨의 품질의 각각의 모 엘리먼트 및 각각의 서브-엘리먼트들에 대한) 괄호들에서 값들은 모션 벡터들의 카테시안 좌표들을 나타낸다. 도시된 바와 같은 HG의 적용에 기반하여, 서브-엘리먼트들은 색 값 설정 좌표 80(-20,-10), 20(60,40), 20(60,40), 및 20(60,40)의 값들로 할당된다. 이러한 경우, 모션 벡터 정보는 평균되지 않는다. 서브-엘리먼트들에 대한 생성된 모션 벡터 정보는 유도된 모션 벡터 설정들이 색 전이(예를 들면, 경계 스냅핑)를 직접 따르기 때문에, 급격한 전이를 유지한다.
도 10c는 본 명세서에서의 실시예들에 따른 H F G 조합 필터를 이용한 모션 벡터들의 업샘플링을 예시하는 예시적인 다이어그램이다. 각각의 엘리먼트에 대한 카테시안 좌표들 및 색 값 설정은 이전의 도 10b와 동일하다. 각각의 엘리먼트는 확실성 값 설정(예를 들면, 공분산 = 0.2)을 포함할 수 있다.
각각의 엘리먼트에 대한(예를 들면, 다음 더 높은 레벨의 품질의 각각의 모 엘리먼트 및 각각의 서브-엘리먼트들에 대한) 괄호들에서의 값들은 모션 벡터들의 카테시안 좌표들을 나타낸다. 본 명세서에서 논의된 바와 같은 HFG 필터 조합의 적용에 기반하여, 서브-엘리먼트들은 색 값 설정 좌표 80(-20,-10), 20(60,40), 20(60,40), 및 20(59.7,39.5)의 값들로 할당된다. 이러한 경우, 모션 벡터들의 확실성 레벨들 또는 분산을 고려한다. 분산이 더 높을수록, 각각의 모션 벡터에 대한 확실성은 더 낮아진다. 더 낮은 확실성 값들이 할당되는 모션 벡터들은 각각의 서브-엘리먼트에 대한 설정을 결정하는 경우 매우 낮은 가중치가 주어진다. 즉, 각각의 엘리먼트에 대한 설정들 20(15, -40) 100은 각각의 서브-엘리먼트에 대한 설정 20(59.7, 39.5)을 생성하는 경우 작은 업샘플링 가중치를 갖는 아웃라이어(outlier)이다. 서브-엘리먼트들에 대한 생성된 모션 벡터 정보는 모션 벡터 설정들이 색 전이(예를 들면, 경계 스냅핑)를 직접 따르기 때문에, 급격한 전이를 유지한다.
도 11은 업샘플링 알고리즘이 더 낮은 해상도 모션 맵들로부터 시작하여 더 정확한 모션 맵들을 성성하기 위해 어떻게 레버리지될 수 있는지를 도시한다. 업샘플링된 모션 맵(480-1)이 레벨의 품질(103)(예를 들면, 레벨의 품질 K+1)의 모션 추정을 완결하기 위해 모션 맵 파이널라이저(finalizer)(1120-1)로 입력된다. 결과로서, 레벨의 품질 K+1의 모션 맵(310-3)이 더 효과적으로 그리고 더 우수한 연산 효율로 추정된다.
도 12는 본 명세서에서의 실시예들에 따라 더 낮은 해상도로 시작하여 모션 맵의 더 높은 해상도 렌디션을 재구성하기 위해 본 명세서에서 논의된 바와 같은 업샘플링 알고리즘이 어떻게 레버리지될 수 있는지를 예시하기 위한 예시적인 다이어그램이다.
일반적으로, 도 12에서의 자원들은 업샘플링 동작 및 잔차 데이터(residual data)의 사용을 통하여 재구성을 수행하는 디코더에 상주할 수 있다.
업샘플링된 모션 맵(480-1)은 모션 맵 재구성기(1220-1)에 레벨의 품질(103)(예를 들면, 레벨의 품질 K+1)의 모션 맵(310-3)의 렌디션을 재구성하기 위한 시작 점을 제공한다. 모션 맵 재구성 데이터(1250-1)(예를 들면, 업샘플링된 모션 맵(480-1)의 모션 벡터들에 대하여 이루어질 조정들을 나타내는 잔차 데이터)는 모션 맵 재구성기(1220-1)가 레벨의 품질(103)의 모션 맵(310-3)의 렌디션을 완전히 재구성하게 한다.
모션 맵 정보 및/또는 잔차들 중 어느 하나 또는 양자는 극 좌표계에서 표현될 수 있다는 것에 더 유의하라. 모션 맵 및 잔차 데이터는 반드시 동일한 좌표계에서 표현되지 않는다.
도 13a는 본 명세서에서의 실시예들에 따른 다운샘플링하도록 구성된 신호 프로세서를 예시하는 예시적인 다이어그램이다.
도시된 바와 같이, 모션 맵 해상도 변경기(410-1)는 다운샘플링 명령들을 수신한다.
모션 맵 해상도 변경기(410-1)는 레벨의 품질 K에 대한 현재의 이미지(110)의 이미지 설정들, 레벨의 품질 K+1의 각각의 모션 맵, 및 레벨의 품질(103)의 현재의 이미지의 설정들을 수신한다. 수신된 정보를 통하여, 모션 맵 해상도 변경기(410-1)는 레벨의 품질 K에 대한 다운샘플링된 모션 맵을 생성한다. 신호 프로세서(1300-1)는 계층에서 다수의 레벨의 품질의 각각이 가장 낮은 레벨의 품질로 다운하기 위한 이들 단계들을 반복한다.
도 13b는 본 명세서에서의 실시예들에 따른 이중선형 커널 H 필터를 이용한 양방향 모션 맵 다운샘플링을 예시하는 예시적인 다이어그램이다. 도시된 바와 같이, 본 명세서에서의 실시예들은 H가 간단한 이중선형 커널이고, f가 A1과 Bj 사이의 차이들의 비-선형 함수인 양방향 필터의 레버리지를 포함한다.
도 14는 본 명세서에서의 실시예들에 따른 인코딩 및 디코딩을 예시하는 예시적인 다이어그램이다.
일반적으로, 도 14의 시스템은 모션 맵 해상도 변경기 알고리즘의 완전히-갖춘 적용을 설명한다.
더 특별히, 인코더는 이미지와 같은 신호(115)에 대한 가장 높은 레벨의 품질의 조밀한 모션 맵을 수신한다. 언급된 바와 같이, 가장 높은 레벨의 품질의 조밀한 모션 맵(310)은 다른 기준 이미지의 엘리먼트에 대한 신호(각각의 레벨의 품질의)에서의 엘리먼트들의 관계들을 나타낼 수 있다. 모션 추정 후(즉, 어디로부터인가 고 해상도의 정확한 조밀한 모션 맵을 수신한 후), 인코더는 본 명세서에서 논의된 바와 같은 모션 맵 해상도 변경기 알고리즘을 이용하여 고 레벨의 품질의 조밀한 모션 맵을 다운샘플링한다. 인코더는 모션 맵을 계층에서 가장 낮은 레벨의 품질(예를 들면, LQ #1)로 다운샘플링한다.
다운샘플링 프로세스 동안, 모션 맵(310-3)의 렌디션을 모션 맵(310-2)의 렌디션으로 다운샘플링할 경우, 인코더는 재구성 데이터(1450-3)를 생성한다. 재구성 데이터(1450-3)는 모션 맵(310-2)의 렌디션을 모션 맵(310-3)의 렌디션으로 어떻게 업샘플링하는지를 나타내는 잔차 데이터와 같은 정보를 포함할 수 있다. 관련된 애플리케이션들에서 논의된 바와 같이, 잔차 데이터는 디코더에 의한 업샘플링 동안, 모션 맵들의 정제 설정들의 방식을 제공한다.
유사한 방식으로, 인코더는 모션 맵(310-2)의 렌디션을 모션 맵(310-1)의 렌디션으로 다운샘플링하는 경우 재구성 데이터(1450-2)를 생성한다. 다시, 재구성 데이터(1450-2)는 모션 맵(310-2)의 렌디션을 모션 맵(310-1)의 렌디션으로 어떻게 업샘플링하는지를 나타내는 잔차 데이터와 같은 정보를 포함할 수 있는 등등이다.
일 실시예에서, 인코더의 신호 프로세서(1400-1)는 상이한 레벨의 품질의 재구성 데이터(1450)를 생성하기 위해 디코더를 시뮬레이션한다.
디코더 기능(예를 들면, 신호 프로세서(1400-1))은 가장 낮은 레벨의 품질의 모션 맵(310-0)의 렌디션을 수신하다. 모션 맵(310-0)의 렌디션은 더 높은 레벨의 품질의 더 상세한 모션 맵들을 생성하기 위한 기선(baseline)을 제공한다. 예를 들면, 일 실시예에서, 디코더 기능은 본 명세서에서 논의된 바와 같은 모션 맵 해상도 변경기 알고리즘을 이용하여 모션 맵(310-0)의 렌디션을 업샘플링한다. 게다가, 디코더는 재구성 데이터(1450-1)를 수신한다. 디코더는 업샘플링된 모션 맵의 설정들을 수정하기 위해 재구성 데이터(1450-1)를 사용한다. 언급된 바와 같이, 재구성 데이터(1450-1)는 조정을 하기 위한 잔차 데이터를 포함할 수 있다.
디코더는 그 다음 본 명세서에서 논의된 바와 같은 해상도 변경기 알고리즘을 이용하여 모션 맵(310-1)의 렌디션을 업샘플링한다. 모션 맵(310-1)의 렌디션은 다음 더 높은 레벨의 품질의 더 상세한 모션 맵들을 생성하기 위한 기선을 제공한다. 예를 들면, 일 실시예에서, 디코더 기능은 본 명세서에서 논의된 바와 같은 모션 맵 해상도 변경기 알고리즘을 이용하여 모션 맵(310-1)의 렌디션을 업샘플링한다. 이런 업샘플링 후, 디코더는 업샘플링된 모션 맵에서 엘리먼트들의 하나 또는 그 초과의 설정들을 수정 또는 조정하기 위해 재구성 데이터(1450-2)를 이용한다. 신호 프로세서(1400-2)(예를 들면, 디코더 기능)는 가장 높은 레벨의 품질의 모션 맵의 렌디션을 재생하기 위해 각각의 레벨의 품질로 이런 프로세스를 반복한다. 환언하면, 디코더는 조밀한 모션 맵의 렌디션을 재생한다.
일 실시예에서, 디코더 기능은 원래의 신호를 재구성하기 위해 필요한 데이터의 양을 감소시키기 위해 조밀한 모션 맵에서 설정들을 레버지리한다. 예를 들면, 모션 맵(예를 들면, 보조 맵)은 현재의 이미지가 재생되고 있는 엘리먼트들의 설정들에 대한 기준으로서 사용하기 위한 기준 이미지에서의 엘리먼트들의 설정들을 나타내는 모션 벡터 정보를 포함할 수 있다.
도 14에 대하여 논의된 바와 같은 처리는 또한, 이에 따른, 예를 들면, 잔차 데이터를 통하여, 더 높은 레벨의 품질의 자(child) 엘리먼트들에 대한 잔차 데이터가 없는 경우, 주어진 엘리먼트에 대하여, 그리고 그들의 서브-엘리먼트들의 모두에 대하여 잠재적으로 가장 높은 레벨 정도로 특정하는 것이 가능한 기법들을 포함할 수 있다는 것에 더 유의하라. 이러한 경우에서, 재구성 데이터는 이미지의 그 영역(예를 들면, 모 엘리먼트 및 자 엘리먼트들)에 대하여 단지 0 조정 값들만을 상속받을 것이고, 이는 이들 엘리먼트들에 대하여 그리고 그 레벨 위쪽으로 업샘플링 동작들에 의해 획득하는 것은 조정되지 않을 것이다.
도 15는 본 명세서에서의 실시예들에 따른 컴퓨터 처리를 제공하는 컴퓨터 시스템(800)의 예시적인 블록 다이어그램이다.
컴퓨터 시스템(800)은 개인 컴퓨터, 처리 회로, 텔레비전, 재생 디바이스, 인코딩 디바이스, 워크스테이션, 휴대용 컴퓨팅 디바이스, 콘솔, 네트워크 단말, 처리 디바이스, 네트워크 디바이스와 같은 컴퓨터화된 디바이스일 수 있거나 이를 포함할 수 있고, 스위치, 라우터, 서버, 클라이언트 등으로 동작할 수 있다.
다음의 논의는 이전에 논의된 바와 같은 신호 프로세서(1400)와 관련된 기능을 어떻게 수행하는지를 나타내는 기본 실시예를 제공한다는 것에 유의하라. 그러나, 본 명세서에서 설명된 바와 같은 동작들을 수행하기 위한 실제 구성은 각각의 애플리케이션에 따라 변할 수 있다는 것에 유의해야 된다.
도시된 바와 같이, 본 예의 컴퓨터 시스템(800)은 비-일시적인 유형의 매체들, 컴퓨터 판독가능한, 하드웨어 저장 매체 등과 같은 컴퓨터 판독가능한 저장 매체(812)를 결합하는 상호연결(811)을 포함하는데, 이 매체에서 디지털 정보가 저장되고 검색될 수 있다. 컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814), 및 통신 인터페이스(817)를 더 포함할 수 있다.
I/O 인터페이스(814)는 저장소(180), 및 존재한다면, 디스플레이 스크린, 키보드, 컴퓨터 마우스 등과 같은 주변 장치들(816)에 대한 연결을 제공한다.
컴퓨터 판독가능한 저장 매체(812)(예를 들면, 하드웨어 저장 매체)는 메모리, 광 스토리지, 하드 드라이브, 플로피 디스크 등과 같은 임의의 적합한 디바이스 및/또는 하드웨어일 수 있다. 컴퓨터 판독가능한 저장 매체는 신호 프로세서(1400)와 관련된 지시들을 저장하기 위한 비-일시적인 저장 매체일 수 있다. 지시들은 본 명세서에서 논의된 바와 같은 동작들 중 임의의 것을 수행하기 위해 신호 프로세서(1400)와 같은 각각의 자원에 의해 실행된다.
통신 인터페이스(817)는 컴퓨터 시스템(800)이 원격 소스들로부터 정보를 검색하기 위해 그리고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들 등과 통신하기 위해 네트워크(190)를 통하여 통신할 수 있게 한다. I/O 인터페이스(814)는 또한 프로세서(813)가 저장소(180)로부터 저장된 정보를 검색할 수 있거나 검색을 시도할 수 있게 한다.
도시된 바와 같이, 컴퓨터 판독가능한 저장 매체(812)는 신호 프로세서 프로세스(840-2)로서 프로세서(813)에 의해 실행되는 신호 프로세서 애플리케이션( 140-1 )으로 인코딩될 수 있다.
컴퓨터 시스템(800) 또는 인코더(140)는 또한 데이터 및/또는 로직 지시들을 저장하기 위한 컴퓨터 판독가능한 저장 매체(812)(예를 들면, 하드웨어 저장 매체, 비-일시적인 저장 매체 등)를 포함하도록 구현될 수 있다는 것에 유의하라.
컴퓨터 시스템(800)은 이와 같은 지시들을 실행하기 위한 그리고 본 명세서에서 논의된 바와 같은 동작들을 수행하기 위한 프로세서(813)를 포함할 수 있다. 따라서, 실행되는 경우, 신호 프로세서 애플리케이션(840-1)과 관련된 코드는 본 명세서에서 논의된 바와 같은 처리 기능을 지원할 수 있다. 언급된 바와 같이, 신호 프로세서(1400)는 인코딩 및/또는 디코딩을 지원하도록 구성될 수 있다.
일 실시예의 동작 동안, 프로세서(813)는 컴퓨터 판독가능한 저장 매체(812)에 저장된 신호 프로세서 애플리케이션(840-1)의 지시들을 개시(launch), 런(run), 실행, 해석 또는 그렇지 않으면 수행하기 위해 상호연결(811)의 사용에 의해 컴퓨터 판독가능한 저장 매체(812)에 액세스한다. 신호 프로세서 애플리케이션(840-1)의 실행은 프로세서(813)에서 처리 기능을 생성한다. 환원하면, 프로세서(813)와 관련된 인코더 프로세스(840-2)는 컴퓨터 시스템(800)의 프로세서(813) 내에서 또는 그 상에서 신호 프로세서 애플리케이션(840-1)을 실행하는 하나 또는 둘 이상의 양상들을 나타낸다.
당업자는 컴퓨터 시스템(800)이 신호 프로세서 애플리케이션(840-1)을 실행하기 위해 하드웨어 처리 자원들의 할당 및 사용을 제어하는 운영 체제와 같은 다른 프로세스들 및/또는 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.
상이한 실시예들에 따르면, 컴퓨터 시스템은 개인 컴퓨터 시스템, 데스크톱 컴퓨터, 랩톱, 넷북, 노트북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 저장 디바이스, 카메라, 캠코더, 셋톱 박스, 모바일 디바이스, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스와 같은 가전 제품 디바이스, 스위치, 모뎀, 라우터와 같은 주변 장치, 또는 일반적으로, 임의의 유형의 컴퓨팅 또는 전자 디바이스를 포함하지만 이에 한정되지 않는 다양한 유형들의 디바이스들 중 임의의 것일 수 있다는 것에 유의하라.
본 명세서의 기법들은 모션 벡터들 및 모션 맵들의 생성 및 처리의 사용에 매우 적합하다는 것에 한 번 더 유의하라. 그러나, 본 명세서의 실시예들은 이와 같은 애플리케이션들에서 사용하도록 한정되지 않고, 본 명세서에서 논의된 기법들은 또한 다른 애플리케이션들에 대하여 매우 적합하다는 것에 유의해야 한다.
본 명세서에서 개시된 설명에 기반하여, 많은 특정 세부사항들이 청구된 요지의 완전한 이해를 제공하기 위해 개시되었다. 그러나, 청구된 요지가 이런 특정 세부사항들 없이 실시될 수 있다는 것이 당업자에 의해 이해될 것이다. 다른 예들에서, 당업자에 의해 알려질 수 있는 방법들, 장치들, 시스템들 등은 청구된 요지를 모호하게 하지 않도록 상세하게 설명되지 않았다. 상세한 설명의 몇몇 부분들은 컴퓨터 메모리와 같은 컴퓨팅 시스템 메모리 내에 저장된 데이터 비트들 또는 이진 디지털 신호들에 관한 동작들의 알고리즘 또는 기호 표현들의 면에서 나타내었다. 이런 알고리즘의 설명들 또는 표현들은 다른 당업자에게 그것들의 작용의 실체를 전달하기 위해 데이터 처리 분야의 당업자에 의해 사용되는 기법들의 예들이다. 본 명세서에서 설명된 바와 같은, 그리고 일반적으로 알고리즘은 원하는 결과를 초래하는 동작들 또는 유사한 처리의 자기-부적합적(self-consistent) 시퀀스로 고려된다. 이런 맥락에서, 동작들 또는 처리는 물리적 양들의 물질적 조작을 수반한다. 전형적으로, 반드시는 아니지만, 이와 같은 양들은 저장되거나, 전송되거나, 조합되거나, 비교되거나, 그렇지 않으면 조작될 수 있는 전자적 또는 자기적 신호들의 형태를 취할 수 있다. 이와 같은 신호들을 비트들, 데이터, 값들, 엘리먼트들, 심볼들, 문자들, 용어들, 숫자들, 부호들(numerals) 등으로서 지칭하는 것이 주로 공동 이용의 이유들을 위해 때때로 편리한 것으로 증명되었다. 그러나, 이들 및 유사한 용어들의 전부는 적절한 물리적 양들과 관련되는 것이며, 단지 편의적인 라벨들이라는 것이 이해되어야 한다. 특별히 다르게 서술되지 않으면, 다음의 논의로부터 명백해지는 바와 같이, 본 명세서 전반에서 "처리", "컴퓨팅", "연산", "결정" 등과 같은 용어들을 이용하는 논의들은 컴퓨팅 플랫폼의 메모리들, 레지스터들 또는 다른 정보 저장 디바이스들, 전송 디바이스들 또는 디스플레이 디바이스들 내의 물리적 전기적 또는 자기적 양들로서 표현되는 데이터를 조작하거나 변환하는, 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은 컴퓨팅 플랫폼의 동작들 또는 프로세스들을 지칭하는 것이 이해될 것이다.
본 발명은 이들의 바람직한 실시예들을 참조하여 특히 도시되고 설명되었지만, 형태 및 세부사항들의 다양한 변형들이 첨부된 청구범위들에 의해 정의된 바와 같은 본 출원의 사상 및 범위를 벗어나지 않고, 그 안에서 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다. 이와 같은 변형들은 본 출원의 범위에 의해 커버되도록 의도된다. 이와 같이, 본 출원의 실시예들의 상술한 설명은 한정되도록 의도되지 않는다. 오히려, 본 발명에 대한 임의의 한정들은 다음의 청구범위에 제시된다.

Claims (29)

  1. 계층의 제 1 레벨의 품질의 보조 맵 및 다수의 상이한 레벨들의 품질로 인코딩된 신호에 기반하여 계층의 제 2 레벨의 품질의 보조 맵을 생성하는 방법으로서,
    상기 제 1 레벨의 품질의 상기 보조 맵의 렌디션(rendition)으로부터 엘리먼트를 선택하는 단계;
    상기 제 1 레벨의 품질의 선택된 엘리먼트를 다수의 서브-엘리먼트들로 세분하는 단계 ― 상기 다수의 서브-엘리먼트들은 상기 보조 맵에 대하여 상기 계층의 제 2 레벨의 품질이고, 상기 제 2 레벨의 품질은 상기 제 1 레벨의 품질보다 더 높음 ―; 및
    상기 제 1 레벨의 품질의 상기 보조 맵의 선택된 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 상기 보조 맵의 상기 제 2 레벨의 품질의 상기 다수의 서브-엘리먼트들의 각각에 대한 각각의 보조 정보를 생성하는 단계를 포함하고,
    상기 생성하는 단계는, 상기 제 1 레벨의 품질의 상기 신호의 현재 이미지의 설정 정보, 및 상기 제 2 레벨의 품질의 상기 신호의 현재 이미지의 설정 정보에 추가로 기초하고,
    상기 보조 맵은 상기 신호의 현재 이미지와 관련되고,
    상기 보조 맵은 모션 벡터(motion vector)들을 포함하는 모션 맵(motion map)이고,
    상기 제 2 레벨의 품질의 모션 맵의 모션 벡터는, 상기 제 1 레벨의 품질의 상기 선택된 엘리먼트의 색 설정들과 상기 제 2 레벨의 품질의 대응하는 서브-엘리먼트의 색 설정들 사이의 차이의 함수인 가중치를 사용하여 결정되는, 보조 맵을 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 제 2 레벨의 품질은 상기 제 1 레벨의 품질보다 높고,
    상기 방법은,
    상기 제 1 레벨의 품질의 상기 보조 맵의 렌디션으로부터 다수의 엘리먼트들을 선택하는 단계;
    상기 제 1 레벨의 품질의 상기 다수의 엘리먼트들을 모(parent) 엘리먼트로 모으는(aggregating) 단계 ― 상기 모 엘리먼트는 상기 보조 맵에 대하여 상기 계층의 제 3 레벨의 품질이고, 상기 제 3 레벨의 품질은 상기 제 1 레벨의 품질보다 낮음 ―; 및
    상기 제 1 레벨의 품질의 상기 보조 맵의 적어도 하나의 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 상기 제 3 레벨의 품질의 보조 맵의 상기 모 엘리먼트에 대한 각각의 보조 정보를 생성하는 단계를 포함하는, 보조 맵을 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 제 2 레벨의 품질의 보조 맵은 또한 상기 제 2 레벨의 품질의 신호에 대한 보조 맵이고,
    상기 방법은,
    다수의 상이한 레벨들의 품질의 보조 맵들의 계층을 생성하는 단계 - 각각의 보조 맵은 대응하는 레벨의 품질의 상기 신호에 대한 보조 정보를 포함함 -를 더 포함하는, 보조 맵을 생성하는 방법.
  4. 제 3 항에 있어서,
    상기 보조 정보는 각각의 레벨의 품질의 기준 이미지 정보에 기반하여 상기 신호를 재구성하는 프로세스를 지원하는, 보조 맵을 생성하는 방법.
  5. 제 1 항에 있어서,
    상기 모션 벡터들은 하나의 엘리먼트에서 다른 엘리먼트로의 관계를 나타내는, 보조 맵을 생성하는 방법.
  6. 제 1 항에 있어서,
    상기 보조 맵은 z-맵이고; 그리고
    상기 보조 정보는 상기 보조 맵이 대응하는 레벨의 품질을 지칭하는 신호의 엘리먼트들의 깊이를 나타내는 보조 엘리먼트들을 포함하는, 보조 맵을 생성하는 방법.
  7. 제 1 항에 있어서,
    상기 보조 맵은 클래스(class) 맵이고, 보조 엘리먼트들은 상기 보조 맵과 관련된 상기 신호의 각각의 엘리먼트에 할당된 클래스와 관련된 정보를 포함하는, 보조 맵을 생성하는 방법.
  8. 제 1 항에 있어서,
    상기 보조 맵의 상기 각각의 평면 엘리먼트와 관련된 보조 정보는 보조 벡터들과 함께, 보조 벡터들의 콘텐츠들과 관련된 메타-정보를 포함하고; 그리고
    상기 보조 맵의 각각의 평면 엘리먼트와 관련된 메타-정보는 상기 보조 벡터들에 대한 통계적 정보를 포함하는, 보조 맵을 생성하는 방법.
  9. 제 5 항에 있어서,
    모션 벡터 좌표들은 극 좌표계를 이용하여 표현되는, 보조 맵을 생성하는 방법.
  10. 제 1 항에 있어서,
    상기 보조 맵에서 주어진 엘리먼트에 대응하는 신호 엘리먼트를 식별하는 단계;
    상기 제 1 레벨의 품질의 상기 식별된 신호 엘리먼트와 인접하는, 상기 제 1 레벨의 품질의 상기 신호에서 엘리먼트들의 세트를 식별하는 단계;
    상기 식별된 신호 엘리먼트들의 세트와 관련된 보조 벡터들을 분석하는 단계; 및
    식별된 엘리먼트들의 세트와 관련된 보조 벡터들에 따라 상기 보조 맵에서 상기 제 2 레벨의 품질의 특정 서브-엘리먼트에 대한 각각의 보조 벡터를 생성하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  11. 제 10 항에 있어서,
    상기 제 2 레벨의 품질의 각각의 보조 벡터는 선형 필터를 상기 제 1 레벨의 품질의 식별된 엘리먼트들의 세트와 관련된 보조 벡터들에 적용함으로써 획득되는, 보조 맵을 생성하는 방법.
  12. 제 1 항에 있어서,
    상기 제 1 레벨의 품질의 주어진 엘리먼트의 특정한 서브-엘리먼트에 이웃하는 상기 제 1 레벨의 품질의 엘리먼트들의 다수(majority)가 범위 내의 실질적으로 동일한 보조 벡터 값에 할당되는 것을 검출하는 것에 응답하여, 연산된 보조 벡터 값을 상기 다수의 서브-엘리먼트들의 특정 서브-엘리먼트에 할당하며, 상기 연산된 보조 벡터 값은 이웃하는 엘리먼트들의 보조 벡터들의 값들의 가중 평균으로부터 유도되고, 이의 가중치들은 상기 실질적으로 동일한 보조 벡터에 대한 각각의 보조 벡터의 유사성에 의존하는, 보조 맵을 생성하는 방법.
  13. 삭제
  14. 제 1 항에 있어서,
    상기 신호의 기준 이미지의 설정 정보에 적어도 부분적으로 기반하여 상기 보조 맵을 생성하는 단계를 더 포함하고,
    상기 보조 맵은 상기 기준 이미지에 적어도 부분적으로 기반하여 유도되는 상기 신호의 현재의 이미지와 관련되는, 보조 맵을 생성하는 방법.
  15. 제 14 항에 있어서,
    더 낮은 해상도 모션 맵에 의해 적응된 기준 이미지의 더 높은 해상도 렌디션을 이용함으로써, 상기 기준 이미지로부터 설정 정보를 레버리지하는 (leveraging) 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  16. 제 15 항에 있어서,
    상기 설정 정보를 레버리지하는 단계는,
    상기 제 1 레벨의 품질의 상기 선택된 엘리먼트와 관련된 적어도 하나의 보조 벡터에 기반하여 상기 제 2 레벨의 품질의 기준 이미지에서 서브-엘리먼트들에 대한 색 정보를 식별하는 단계;
    상기 서브-엘리먼트들에 대한 각각의 보조 벡터들을 생성하기 위해 상기 색 정보를 이용하는 단계를 포함하고,
    상기 각각의 보조 벡터들의 값들은 상기 색 정보에 의해 나타내는 바와 같은 색 전이(transition)들을 따르는, 보조 맵을 생성하는 방법.
  17. 제 1 항에 있어서,
    현재의 이미지들 및 기준 이미지들의 티어-기반(tier-based) 계층을 지칭하는, 보조 맵들의 티어-기반 계층의 콘텍스트(context)에서 상기 현재의 이미지 또는 기준 이미지 중 어느 하나의 이미지 설정 정보를 레버리지하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  18. 제 1 항에 있어서,
    선형 커널(kernel)을 이미지 설정들에 기반한 커널과 곱함으로써 획득된 커널로 특징되는 필터를 상기 제 1 레벨의 품질의 상기 맵의 보조 벡터들의 콘텐츠들에 적용함으로써, 제 1 레벨의 품질의 보조 맵을 생성하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  19. 제 18 항에 있어서,
    상기 선형 커널은 이중선형(bilinear) 필터, 바이큐빅(bicubic) 필터, 란초스(Lanczos) 필터, 미첼-네트라빌리(mitchell-netravali) 필터, 및 가우스(Gaussian) 필터로 이루어진 그룹에서 선택된 고차 필터(higher-order filter)인, 보조 맵을 생성하는 방법.
  20. 제 1 항에 있어서,
    제 1 레벨의 품질의 상기 보조 맵의 보조 벡터들의 좌표들에, 비-선형 커널을 이미지 설정들의 함수인 커널과 곱함으로써 획득된 커널로 특징되는 필터를 적용하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  21. 제 1 항에 있어서,
    보조 벡터들에 관한 메타-정보를 또한 레버리지함으로써, 보조 맵을 생성하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  22. 제 21 항에 있어서,
    메타-정보는 각각의 보조 벡터의 정밀도(precision), 또는 각각의 벡터의 공분산(covariance) 정보, 또는 상기 벡터들의 상대적인 또는 절대적인 품질을 나타내는 임의의 적합한 값을 나타내는 파라미터들을 포함하는, 보조 맵을 생성하는 방법.
  23. 제 1 항에 있어서,
    제 1 레벨의 품질의 상기 맵의 보조 벡터들에, 커널이 선형 커널을 이미지 설정들에 따른 커널과 곱하고 그 다음 보조 벡터 메타-정보의 함수인 커널과 곱함으로써 획득되는 필터를 적용함으로써, 제 2 레벨의 품질의 상기 보조 맵의 렌디션을 생성하기 위해 이미지 설정 정보 및 메타-정보를 레버리지하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  24. 제 1 항에 있어서,
    보조 벡터 정보를 생성하기 위해 사용된 커널의 함수인 커널을 레버리지하는 이전의 레벨의 품질의 상기 보조 맵의 메타-정보를 필터링함으로써, 새로운 레벨의 품질의 상기 보조 맵의 상기 보조 벡터들에 대한 메타-정보를 연산하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  25. 제 1 항에 있어서,
    모션 맵들의 계층을 업샘플링하고 생성함에 의해 상기 보조 맵을 정제하는(refine) 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  26. 제 1 항에 있어서,
    보조 맵을 디코딩하는 단계 - 상기 디코딩하는 단계는 보조 맵을 업샘플링하기 위해 제 1 항에 인용된 단계들을 이용하는 단계를 포함함 - ;
    더 높은 레벨의 품질의 상기 보조 맵의 렌디션을 재구성하기 위해 각각의 업샘플 동작 후에 재구성 데이터를 추가하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  27. 삭제
  28. 제 1 항에 있어서,
    멀티-레벨 티어-기반 디코딩 프로토콜에 따라 상기 보조 맵을 디코딩하는 단계를 더 포함하는, 보조 맵을 생성하는 방법.
  29. 지시들(instruction)이 저장된 컴퓨터-판독가능한 저장 하드웨어로서,
    상기 지시들은, 처리 디바이스에 의해 수행되는 경우, 상기 처리 디바이스로 하여금,
    제 1 레벨의 품질의 보조 맵의 렌디션으로부터 엘리먼트를 선택하는 동작;
    상기 제 1 레벨의 품질의 선택된 엘리먼트를 다수의 서브-엘리먼트들로 세분하는 동작 - 상기 다수의 서브-엘리먼트들은 상기 보조 맵에 대하여 계층의 제 2 레벨의 품질이고, 상기 제 2 레벨의 품질은 상기 제 1 레벨의 품질보다 더 높음 -; 및
    상기 제 1 레벨의 품질의 상기 보조 맵에서 선택된 엘리먼트에 할당된 보조 정보에 적어도 부분적으로 기반하여, 상기 보조 맵의 상기 제 2 레벨의 품질의 상기 다수의 서브-엘리먼트들의 각각에 대한 각각의 보조 정보를 생성하는 동작을 수행하게 하고,
    상기 보조 맵은 신호의 현재 이미지와 관련되고, 상기 신호는 계층의 다수의 상이한 레벨들의 품질로 인코딩되고,
    상기 생성하는 것은, 상기 제 1 레벨의 품질의 상기 신호의 현재 이미지의 설정 정보, 및 상기 제 2 레벨의 품질의 상기 신호의 현재 이미지의 설정 정보에 추가로 기초하고,
    상기 보조 맵은 모션 벡터들을 포함하는 모션 맵이고,
    상기 제 2 레벨의 품질의 모션 맵의 모션 벡터는, 상기 제 1 레벨의 품질의 상기 선택된 엘리먼트의 색 설정들과 상기 제 2 레벨의 품질의 대응하는 서브-엘리먼트의 색 설정들 사이의 차이의 함수인 가중치를 사용하여 결정되는, 컴퓨터-판독가능한 저장 하드웨어.
KR1020147015734A 2011-11-10 2012-11-09 티어드 신호 품질 계층에서의 모션 맵들 및 다른 보조 맵들의 업샘플링 및 다운샘플링 KR102263625B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161558302P 2011-11-10 2011-11-10
US61/558,302 2011-11-10
US13/303,554 2011-11-23
US13/303,554 US9300980B2 (en) 2011-11-10 2011-11-23 Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
PCT/IB2012/002286 WO2013068825A1 (en) 2011-11-10 2012-11-09 Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy

Publications (2)

Publication Number Publication Date
KR20140092898A KR20140092898A (ko) 2014-07-24
KR102263625B1 true KR102263625B1 (ko) 2021-06-10

Family

ID=47351870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015734A KR102263625B1 (ko) 2011-11-10 2012-11-09 티어드 신호 품질 계층에서의 모션 맵들 및 다른 보조 맵들의 업샘플링 및 다운샘플링

Country Status (7)

Country Link
US (3) US9300980B2 (ko)
EP (1) EP2777274B1 (ko)
KR (1) KR102263625B1 (ko)
CN (1) CN104170388B (ko)
CA (1) CA2858786A1 (ko)
IN (1) IN2014CN04195A (ko)
WO (1) WO2013068825A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2754131B1 (en) 2011-09-08 2022-10-26 Nautilus, Inc. System and method for visualizing synthetic objects withinreal-world video clip
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
EP3968638A1 (en) 2012-05-14 2022-03-16 V-Nova International Ltd Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US20150030208A1 (en) * 2013-07-29 2015-01-29 Irida Labs S.A. System and a method for motion estimation based on a series of 2d images
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
EP3149945A1 (en) 2014-05-30 2017-04-05 Paofit Holdings Pte Ltd Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation
JP6336341B2 (ja) * 2014-06-24 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9508026B2 (en) 2014-07-01 2016-11-29 Irida Labs S.A. System and a method for camera motion analysis and understanding from a video sequence
KR101642200B1 (ko) * 2014-12-19 2016-07-22 포항공과대학교 산학협력단 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2016166532A1 (en) 2015-04-13 2016-10-20 Richard Clucas Encoding a plurality of signals with data rate target of a signal depending on complexity information
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
TWI755616B (zh) 2017-04-21 2022-02-21 美商時美媒體公司 用於編碼器導引自適應性品質演現的系統及方法
US10432962B1 (en) * 2018-03-13 2019-10-01 Pixelworks, Inc. Accuracy and local smoothness of motion vector fields using motion-model fitting
US11611773B2 (en) * 2018-04-06 2023-03-21 Qatar Foundation For Education, Science And Community Development System of video steganalysis and a method for the detection of covert communications
CN112955713A (zh) * 2018-10-29 2021-06-11 大疆科技股份有限公司 用于在可移动物体环境中进行实时地图构建的技术
GB2619631B (en) 2019-03-20 2024-04-03 V Nova Int Ltd Low complexity enhancement video coding
US11372126B2 (en) * 2019-04-04 2022-06-28 The Johns Hopkins University Large volume holographic imaging systems and associated methods
KR20220036948A (ko) 2019-07-05 2022-03-23 브이-노바 인터내셔널 리미티드 비디오 코딩에서 잔차의 양자화
CN110910324B (zh) * 2019-11-19 2023-04-14 山东神戎电子股份有限公司 红外视频的去竖条纹方法
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
WO2022211462A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 동적 메시 코딩을 위한 장치 및 방법
CN114025168B (zh) * 2021-09-30 2023-08-04 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088101A1 (en) 2004-10-21 2006-04-27 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
JP2003037842A (ja) * 2001-07-26 2003-02-07 Monolith Co Ltd 画像符号化方法、復号方法および画像符号化装置、復号装置
CN1839632A (zh) * 2003-08-22 2006-09-27 皇家飞利浦电子股份有限公司 用于速率－失真－复杂度优化的视频编码的运动矢量联合时空指向尺度预测和编码
US8036494B2 (en) 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US7479425B2 (en) * 2005-01-20 2009-01-20 Chartered Semiconductor Manufacturing, Ltd Method for forming high-K charge storage device
WO2006124885A2 (en) * 2005-05-12 2006-11-23 Kylintv, Inc. Codec for iptv
US20080111923A1 (en) * 2006-11-09 2008-05-15 Scheuermann W James Processor for video data
US9204149B2 (en) * 2006-11-21 2015-12-01 Vixs Systems, Inc. Motion refinement engine with shared memory for use in video encoding and methods for use therewith
MX2009009871A (es) * 2007-03-16 2010-05-19 Thomson Licensing Sistema y metodo para combinar texto con un contenido tri-dimensional.
JP2009089332A (ja) * 2007-10-03 2009-04-23 Sony Corp 動き予測方法及び動き予測装置
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
CN102047663A (zh) * 2008-06-05 2011-05-04 汤姆森许可贸易公司 具有纹理合成的图像编码方法
JP2012503416A (ja) * 2008-09-18 2012-02-02 トムソン ライセンシング ビデオ画像の刈り取り方法及び装置
EP2209086A1 (en) * 2009-01-15 2010-07-21 Telefonaktiebolaget L M Ericsson (publ) Image processing
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US20140169467A1 (en) * 2012-12-14 2014-06-19 Ce Wang Video coding including shared motion estimation between multple independent coding streams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060088101A1 (en) 2004-10-21 2006-04-27 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gokce Dane, et al. Smooth motion vector resampling for standard compatible video post-processing. IEEE Conference on Signals, Systems and Computers, 2004.*
LI, Min, et al. Inter-layer motion vector interpolation for low-complexity and very low bitrate scalable video coding. In: 2007 Conference Record of the Forty-First Asilomar Conference on Signals, Sys

Also Published As

Publication number Publication date
US20130294514A1 (en) 2013-11-07
KR20140092898A (ko) 2014-07-24
EP2777274A1 (en) 2014-09-17
CN104170388B (zh) 2019-01-25
WO2013068825A1 (en) 2013-05-16
US9967568B2 (en) 2018-05-08
EP2777274B1 (en) 2021-05-19
US20160198159A1 (en) 2016-07-07
CN104170388A (zh) 2014-11-26
US20170208333A1 (en) 2017-07-20
US9300980B2 (en) 2016-03-29
US9628817B2 (en) 2017-04-18
IN2014CN04195A (ko) 2015-09-04
CA2858786A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
KR102263625B1 (ko) 티어드 신호 품질 계층에서의 모션 맵들 및 다른 보조 맵들의 업샘플링 및 다운샘플링
US11595653B2 (en) Processing of motion information in multidimensional signals through motion zones and auxiliary information through auxiliary zones
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
US11490078B2 (en) Method and apparatus for deep neural network based inter-frame prediction in video coding
US20190141332A1 (en) Use of synthetic frames in video coding

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant