KR102165147B1 - 계층형 신호 디코딩 및 신호 복원 - Google Patents

계층형 신호 디코딩 및 신호 복원 Download PDF

Info

Publication number
KR102165147B1
KR102165147B1 KR1020147004579A KR20147004579A KR102165147B1 KR 102165147 B1 KR102165147 B1 KR 102165147B1 KR 1020147004579 A KR1020147004579 A KR 1020147004579A KR 20147004579 A KR20147004579 A KR 20147004579A KR 102165147 B1 KR102165147 B1 KR 102165147B1
Authority
KR
South Korea
Prior art keywords
signal
quality level
data
upsampling
decoded data
Prior art date
Application number
KR1020147004579A
Other languages
English (en)
Other versions
KR20140051344A (ko
Inventor
루카 로사토
귀도 메아르디
Original Assignee
루카 로사토
귀도 메아르디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루카 로사토, 귀도 메아르디 filed Critical 루카 로사토
Publication of KR20140051344A publication Critical patent/KR20140051344A/ko
Application granted granted Critical
Publication of KR102165147B1 publication Critical patent/KR102165147B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

디코더는, 제1 세트의 데이터를 디코딩하고, 제1 세트의 디코딩된 데이터를 활용하여 제1 품질 레벨에 따라 신호를 복원한다. 또한, 디코더는, 제2 세트의 데이터를 디코딩하고, 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작을 식별한다. 디코더는, 제1 품질 레벨에서 복원된 신호에 제2 세트의 디코딩된 데이터에서 식별된 업샘플링 동작을 적용하여 신호를 제2의, 더 높은 품질 레벨에서 복원한다. 복원된 신호를 강화하기 위해, 디코더는 제2 세트의 디코딩된 데이터로부터 잔차 데이터를 리트리브한다. 잔차 데이터는 앞서 논의된 바와 같이 업샘플링 동작의 적용에 후속하여 복원된 신호를 제2 품질 레벨에서 어떻게 변형시키는지 나타낸다. 그후, 디코더는 잔차 데이터에 의해 특정된 것과 같이 제2 품질 레벨에서 복원된 신호를 변형시킨다.

Description

계층형 신호 디코딩 및 신호 복원{TIERED SIGNAL DECODING AND SIGNAL RECONSTRUCTION}
CPU(중앙 처리 유닛) 효율은 신호의 인코딩 및 디코딩 모두 동안 문제가 된다. 최근 세대 프로세서들은 각 단일 칩 상에 수백 개까지의 단순 코어들을 가지며 점점 더 병렬되고 있다.
유감스럽게도, 본질적으로, 전통적인 MPEG(Moving Pictures Expert Group) 계열 코덱들은 구조적으로 비-병렬적이다. 이는, 전통적인 MPEG 계열 코덱들이 블록-기반이고, 효율적인 압축을 달성하기 위해 모든 블록들이 어떤 방식으로든 서로에 대해 의존하도록 형성되어야 하기 때문에, 각각의 이미지 블록이 순차적으로 인코딩되고 디코딩되어야만 한다는 점에 기인한다.
MPEG 코딩에 소위 "슬라이스(slices)"(기본적으로, 서로 옆에 놓이는 별개의 비디오들인 것처럼, 서로에 대해 독립적으로 취급되는 이미지의 조각들)의 도입에 의해, H.264 표준은 병렬로 조금의 스레드(thread)들(전형적으로 2개 또는 3개의 스레드들)의 프로세싱을 허용한다. 디-블로킹(de-blocking)(즉, 더욱 균일한 이미지를 생성하기 위해 블록들 사이의 전이부들(transitions)을 "평활화(smooth)하는" 필터)과 같은 중요한 알고리즘 엘리먼트들은 조건부 명령들로 채워진 전형적인 글로벌 동작들이며, 이들은 병렬 CPU들을 포함하는 애플리케이션들에 적합하지 않다.
오늘날의 CPU들 및 GPU들(Graphics Processing Units)은 통상적으로 매우 강력하며; 하나의 GPU는 정보의 병렬 프로세싱을 수행하기 위해 수백 개의 컴퓨팅 코어들(computing cores)을 포함할 수 있다. 현재의 기술을 이용하는 경우, 더 많은 부분의 이미지가 프로세싱을 위해 프로세서 캐시(processor cache)에 저장될 수 있다. 이미지들을 다수의 작은 블록들로 해체할 필요성은 ― 이는 MPEG가 창설될 때 영향력이 큰 요인(driving factor)이었는데, 그 시대의 프로세서들은 한번에 매우 작은 덩어리들의 비디오 데이터만을 다룰 수 있고 그리고 순차적으로만 다룰 수 있기 때문이다 ―, 더 이상 현대의 CPU들 및 GPU들에 적용되지 않는다. 따라서, 이용가능한 프로세싱 능력의 대부분은, 아티팩트들이 신호에 불필요하게 도입되는 것을 차단하면서, MPEG과 같은 유형들의 인코딩/디코딩을 구현할 때 사용되지 않을 수 있다. 또한, MPEG이 개발되었을 당시의 시대와 비교하면, 현대의 애플리케이션들은 통상적으로 훨씬 더 높은 선명도 비디오 인코딩과 훨씬 더 높은 전반적인 재생 품질을 요구한다. 고화질(HD), 고품질 비디오들에서, 낮은 디테일을 갖는 영역들(잠재적으로는 아웃 포커스(out of focus)까지도)과 매우 정교한 상세함을 갖는 구역들 사이에는 훨씬 더 큰 차이가 존재한다. 이는, 관련 주파수들의 범위가 훨씬 넓어지기 때문에, MPEG에서 사용되는 바와 같은 주파수-도메인 변환들을 사용하는 것이 이미지 프로세싱 및 재생에 훨씬 더 적합하지 않게 한다.
게다가, 더 높은 해상도 이미지들은 더 많은 양의 카메라 노이즈 및/또는 필름 그레인(film grain), 즉, 시청(viewing)과는 완전히 무관하지만 인코딩하기 위해 수많은 비트들을 요구할 수 있는 매우 상세한 고주파 픽셀 전이들을 포함한다.
마지막으로, 전통적인 코덱들은 의료 영상, 과학 영상 등과 같은 분야들에서 점점 더 중요해지고 있는 3D 또는 체적(volumetric) 이미징을 효율적으로 수행하기에 부적합하다.
오늘날 대부분의 타겟 디바이스들은 상이한 재생 해상도들 및 상이한 재생 품질을 지원한다. 확장성(scalability)을 위한 현재의 MPEG 표준인, 소위 SVC(Scalable Video Coding)는 업계에 우호적으로 수용되지 않았고 거의 채택되지 않은 것으로 나타나는데, 이는 너무 복잡하고 대역폭이 다소 비효율적인 것으로 간주되기 때문이다.
더욱이, 인코딩된 비디오들이 풍부하며; 즉, 콘텐츠 제공자는 통상적으로 각각의 특정 비디오 스트림에 대해 인코더 파라미터들을 커스터마이징하고 실험할 시간이 없다. 현재, 콘텐츠 제공자들은 비디오를 성공적으로 인코딩하기 위해 (인코딩을 수행하고 결과들의 품질을 검사할 때마다) 수많은 인코딩 파라미터들을 수동으로 수정해야만 하는 것을 싫어한다.
인코딩/디코딩을 위한 MPEG 표준들에 대한 대안으로서, 소위 이미지 피라미드들(image pyramids)이 인코딩/디코딩을 위해 사용되어 왔다. 예를 들어, 라플라시안 피라미드들(Laplacian pyramids)을 이용하면, 종래의 시스템들은 가우시안 필터들(Gausian filters)을 이용하여 낮은 해상도 이미지들을 생성하고, 그 후, 엄격하게 프로그래밍된 디코더를 통해서 낮은 해상도 레벨들로부터 다시 오리지널 레벨로 업샘플링함으로써 획득된 이미지들간의 차이들의 피라미드를 생성하였다.
종래의 라플라시안 피라미드 인코딩의 사용은 포기되었다. 이러한 변환들의 하나의 결점은, 저자들이 다운샘플링된 이미지 내에서의 왜곡들/결함들을 방지하려고 항상 노력했고, 그래서 그들은 항상, 자신의 어떠한 정보도 부가하지 않는 유일한 형태의 필터인, 가우시안 필터링을 사용했다는 것이다. 그러나, 가우시안 필터링이 갖는 극복할 수 없는 문제는, 가우시안 필터링이 블러링 효과(blurring effect)를 도입하기 때문에, 이에 의해 더 큰 해상도들로 다시 업스케일링할 때, 오리지널 이미지를 재현(reproduce)하기 위해 과도한 양의 이미지 보정 정보가 필요하게 된다는 것이다.
본원의 실시예들은 종래의 시스템들 및 방법들과는 구별된다. 예를 들어, 본원의 실시예들은, 이미지 정보 및 다른 유형들의 인코딩된 정보와 같은 신호들을 프로세싱하고 재현하는 고유 방식들에 관한 것이다.
더욱 구체적으로는, 본원에 설명된 비-제한적 실시예는, 계층(hierarchy)에서 연속적으로 더 높은 품질 레벨들로 신호를 복원하는 것을 포함한다. 예를 들어, 일 실시예에 따르면, 디코더는, 제1 세트의 데이터를 디코딩하고, 제1 세트의 디코딩된 데이터를 활용하여 제1 품질 레벨에 따라서 신호를 복원한다. 디코더는, 제2 세트의 데이터를 디코딩하고, 제2 세트의 디코딩된 데이터에 의해 특정되는 업샘플링 동작을, 제2 세트의 디코딩된 데이터에 의해 또한 특정되는 스케일 인자(scale factor)와 함께 식별한다. 그후, 디코더는 제1 품질 레벨로 복원된 신호에 제2 세트의 디코딩된 데이터에서 식별된 업샘플링 동작 및 스케일 인자를 적용하여 제2 품질 레벨로 신호를 복원한다. 이 예시에서, 제2 품질 레벨은, 제1 품질 레벨보다 더 높다. 이러한 방식으로, 일 세트의 디코딩된 데이터는 하나의 계층(tier)으로부터 다음 계층으로의 업샘플링을 어떻게 수행하는지를 나타낸다.
추가적인 실시예에 따르면, 각각의 품질 레벨에서의 복원된 신호를 강화하기 위해, 디코더는 또한 제2 세트의 디코딩된 데이터로부터 잔차 데이터(residual data)를 리트리브(retrieve)하도록 구성될 수 있다. 앞서 논의된 바와 같이, 잔차 데이터는 업샘플링 동작의 적용에 후속하여 제2 품질 레벨로 복원된 신호를 어떻게 변형시키는지 나타낼 수 있다. 디코더는 잔차 데이터에 의해 특정된 것과 같이 제2 품질 레벨로 복원된 신호를 변형시킨다.
디코더는 계층에서 다수의 품질 레벨들 각각에 대해 전술한 프로세싱을 반복할 수 있다. 예를 들어, 제2 품질 레벨보다 높은 다수의 품질 레벨들 각각에 대해, 디코더는: 계층에서 마지막 프로세싱된 품질 레벨보다 한 단계 더 높은 세트의 데이터를 디코딩하는 단계; 상기 한 단계 더 높은 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작 및/또는 스케일 인자를 식별하는 단계; 상기 한 단계 더 높은 품질 레벨로 신호를 복원하기 위해 상기 한 단계 더 높은 세트의 디코딩된 데이터에서 식별된 업샘플링 동작 및 스케일 인자를 적용하는 단계; 상기 한 단계 더 높은 세트의 디코딩된 데이터에 의해 특정된 잔차 정보 및/또는 잔차 특성들을 식별하는 단계; 상기 한 단계 더 높은 품질 레벨로 복원된 신호를 변형시키기 위해 잔차 정보를 적용하는 단계를 반복한다.
본원에 논의된 바와 같이 신호는 다차원적 신호들을 포함하는 임의의 적절한 유형일 수 있다는 것에 주목한다. 비-제한적 예시들로서, 신호는 이미지(예컨대, 픽쳐들, 비디오 프레임들, 모션 맵들, 의료용/과학용 이미지들 등), 공간적 신호(예컨대, 의료용/과학용 용량 이미징, 홀로그램 이미징, 플렌옵틱/라이트-필드 이미징 등), 3차원 초과의 신호 피쳐링, 시간-기반 신호(예컨대, 오디오 신호, 비디오 신호 등) 등일 수 있다. 간략함을 위해, 본원에 예시된 실시예들은, 예를 들어, 픽쳐와 같은 2D 평면들의 세팅들(예컨대, 적절한 컬러 공간에서의 2D 이미지들)로서 디스플레이되는 신호들을 종종 참조한다. 그러나, 동일한 개념들 및 방법들이 또한 임의의 다른 유형의 신호에 적용가능하다.
이러한 이유로, 이 문헌에서, 우리는 "신호 엘리먼트들(signal elements)" 또는 "평면 엘리먼트들(plane elements)"("pels")과 같이, 주어진 해상도에 있는 신호의 베이직 엘리먼트들을 참조할 것이다: 각각의 pel은 다차원 공간에서 정규격 그리드(regular grid) 상의 값을 나타낸다. 2D 이미지들의 경우, pels는 또한 공통으로 "픽셀들(pixels)"(픽쳐 엘리먼트들)로 지칭되지만, 3D 이미지들의 경우, pels는 또한 "복셀들(voxels)"(공간적 픽쳐 엘리먼트들)로 지칭된다. 신호의 해상도는 그리드의 각각의 차원에 대해 존재하는 pels의 개수를 정의한다. 본원에 논의된 것과 같은 신호는 또한 수개의 평면들/컴포넌트들(예컨대, 휘도 및 색차, RGB, HSV, 등)을 특징으로 갖는 더욱 복잡한 신호의 평면들/컴포넌트들 중 오직 하나만을 나타낼 수 있다.
일 실시예에서, 신호는 이미지를 복원하기 위한 이미지 데이터를 포함한다. 이러한 실시예에 따르면, 디코더는, 계층형(tiered) 세트들의 인코딩된 데이터에 기초하여 더 높은 해상도 또는 더 높은 품질 레벨들로 신호를 복원하여, 결과적으로는 재생(playback)을 위해 오리지널 이미지 또는 오리지널 이미지에 가까운 카피본을 복원한다. 특정한 경우들에서, 예를 들어, 출력 디바이스가 풀 오리지널 해상도를 디스플레이할 수 없을 때 또는 송신을 위한 대역폭이 제한될 때, 낮은 품질 레벨 이미지(예컨대, 계층에서 가장 높은 가능한 해상도보다 낮은 레벨의 복원된 신호)가 보여지도록 디스플레이될 수 있다.
이러한 그리고 다른 실시예 변형들은 이하 더욱 상세하게 논의된다.
앞서 논의된 바와 같이, 본원의 실시예들은 본원에 개시된 방법 동작들의 일부 또는 전부를 수행하고 그리고/또는 지원하기 위해 하나 이상의 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 핸드헬드 또는 랩탑 컴퓨터들 등의 구성을 포함할 수 있다는 것에 주목한다. 즉, 하나 이상의 컴퓨터화된 디바이스들 또는 프로세서들은 상이한 실시예들을 수행하기 위해 본원에 설명된 바와 같이 동작하도록 프로그래밍되고 그리고/또는 구성될 수 있다.
앞서 논의된 것과 같은 디코더 및 프로세싱뿐만 아니라, 본원에서 또 다른 실시예들은 앞서 개략되고 이하 상세하게 개시되는 단계들 및 동작들을 수행하기 위한 소프트웨어 프로그램들을 포함한다. 하나의 이러한 실시예는, 프로세서 및 대응 메모리를 갖는 컴퓨터화된 디바이스에서 수행될 때, 프로세서가 본원에 개시된 임의의 동작들을 수행하도록 프로그래밍하게 그리고/또는 야기하게 하는 컴퓨터 프로그램 로직, 명령들 등이 인코딩된 컴퓨터-판독가능, 하드웨어 저장 리소스(즉, 비-일시적 컴퓨터 판독가능 매체)를 포함한다. 이러한 장치(arrangement)들은, 광학 매체(예컨대, CD-ROM), 플로피 또는 하드 디스크와 같은 컴퓨터 판독가능 매체, 또는 하나 이상의 ROM 또는 RAM 또는 PROM 칩들 내의 펌웨어 또는 마이크로코드와 같은 다른 매체에 인코딩되거나 또는 배열되는 소프트웨어, 코드, 및/또는 다른 데이터(예컨대, 데이터 구조들)로서 또는 ASIC(Application Specific Integrated Circuit)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 다른 이러한 구성들은 컴퓨터화된 디바이스들이 본원에 설명된 기법들을 수행하게 하기 위해 컴퓨터화된 디바이스 상에 설치될 수 있다.
이에 따라, 본 개시물의 일 특정 실시예는, 신호 프로세싱 동작들을 지원하기 위한, 명령들이 저장된 컴퓨터-판독가능 하드웨어 저장 매체를 포함하는 컴퓨터 프로그램 물건에 관련된다. 예를 들어, 일 실시예에서, 개별적인 컴퓨터 디바이스의 프로세서에 의해 수행될 때, 명령들은, 프로세서가: 제1 세트의 데이터를 디코딩하게 하고; 제1 세트의 디코딩된 데이터를 활용하여 제1 품질 레벨에 따라서 신호를 복원하게 하고; 제2 세트의 데이터를 디코딩하게 하고; 제2 세트의 디코딩된 데이터에 의해 특정되는 업샘플링 동작 및 스케일 인자를 식별하게 하고; 그리고 제1 품질 레벨로 복원된 신호에 제2 세트의 디코딩된 데이터에서 식별된 업샘플링 동작 및 스케일 인자를 적용하여 제2 품질 레벨로 신호를 복원하게 하며, 이때 제2 품질 레벨은 제1 품질 레벨보다 높다.
명료함을 위해 단계들의 순서가 부가되었다. 이러한 단계들은 임의의 적절한 순서로 수행될 수 있다.
본 개시물의 다른 실시예들은, 앞서 개략된 그리고 이하 상세하게 개시되는 임의의 방법 실시예 단계들 및 동작들을 수행하기 위해 소프트웨어 프로그램들, 펌웨어들, 및/또는 개별적인 하드웨어를 포함한다.
또한, 본원에 논의되는 바와 같이, 컴퓨터 판독가능 저장 매체 등의 시스템, 방법, 장치, 명령들이, 소프트웨어 프로그램으로서, 소프트웨어, 펌웨어, 및/또는 하드웨어의 하이브리드로서, 또는 프로세서 내에서, 또는 오퍼레이팅 시스템 내에서 또는 소프트웨어 애플리케이션 내에서 등과 같이 하드웨어 단독으로서 엄격하게 구현될 수 있다는 것이 이해될 것이다.
앞서 논의된 바와 같이, 본원의 기법들은 신호들을 프로세싱하는 소프트웨어, 펌웨어, 및/또는 하드웨어 애플리케이션들에서 사용하기에 아주 적합하다. 그러나, 본원의 실시예들이 이러한 애플리케이션들에서 이용하는 것으로 제한되지 않으며 본원에 논의된 기법들도 또한 다른 애플리케이션들에 아주 적합하다는 것에 주목해야 한다.
추가적으로, 본원의 상이한 특징들, 기법들, 구성들 등의 각각이 본 개시물의 상이한 위치들에서 논의될 수 있지만, 각각의 개념들은 서로 독립적으로 또는 서로 결합하여 실행될 수 있는 것으로 의도된다는 것에 주목한다. 이에 따라, 본원에 설명된 것과 같은 하나 이상의 본 발명들, 실시예들 등이 수많은 상이한 방식들로 구현되고 그리고 보여질 수 있다.
또한, 본원에서 실시예들의 이러한 사전 논의는 본 개시물 또는 청구된 발명(들)의 모든 각각의 실시예 및/또는 개량 신규 양태를 특정하지 않는다는 것에 주목한다. 대신에, 이러한 간략한 설명은 단지 종래의 기법들에 대한 신규성의 일반적인 실시예들 및 대응 요지들을 제시한다. 본 발명(들)의 추가적인 세부사항들 및/또는 가능한 관점들(치환들)을 위해, 독자는 이하 더 논의되는 바와 같이 본 개시물의 상세한 설명 섹션 및 대응 도면들로 안내된다.
본 발명의 전술한 그리고 다른 목적들, 특징들, 및 이점들은, 동일한 참조 문자들이 상이한 도면들 전체에 걸쳐 동일한 부분을 지칭하는 첨부 도면들에서 예시된 바와 같이, 본원에서 바람직한 실시예들의 이하의 더욱 특정한 설명으로부터 명료해질 것이다. 도면들은 반드시 일정한 비율로 스케일링되지 않으며, 대신에 실시예들, 원리들, 개념들 등을 예시할 때 강조된다.
도 1은 본원의 실시예들에 따른 인코더 및 대응 인코딩된 데이터의 예시의 도면이다.
도 2는 본원의 실시예들에 따라서 신호를 인코딩하고 디코딩하는 프로세스를 예시의 예시의 도면이다.
도 3은 본원의 실시예들에 따라서 계층에서 상이한 품질 레벨들에 있는 이미지 정보를 포함하는 신호의 확대를 예시하는 예시의 도면이다.
도 4는 본원의 실시예들에 따라서 신호를 디코딩하고 복원하는 것을 예시하는 예시의 도면이다
도 5는 본원의 실시예들에 따라서 더 낮은 해상도 이미지를 더 높은 해상도 이미지로 업샘플링하는 것을 예시하는 예시의 도면이다.
도 6은 본원의 실시예들에 따라서 더 낮은 해상도 이미지를 더 높은 해상도 이미지로 업샘플링하는 것을 예시하는 예시의 도면이다.
도 7은 본원의 실시예들에 따라서 더 낮은 해상도 이미지를 더 높은 해상도 이미지로 업샘플링하는 것을 예시하는 예시의 도면이다.
도 8은 본원의 실시예들에 따라서 컴퓨터 코드, 펌웨어, 소프트웨어, 애플리케이션들, 로직 등을 실행하기 위한 예시의 컴퓨터 아키텍쳐를 예시하는 도면이다.
도 9는 본원의 실시예들에 따라서 신호를 복원하는 예시의 방법을 예시하는 흐름도이다.
도 10 및 도 11은 본원의 실시예들에 따라서 신호를 복원하는 더욱 구체적인 예시의 방법을 예시하는 흐름도를 형성하기 위해 결합한다.
앞서 논의된 바와 같이, 비-제한적 예시에 의해, 디코더는, 제1 세트의 데이터를 디코딩하고, 제1 세트의 디코딩된 데이터를 활용하여 제1 품질 레벨에 따라서 신호를 복원한다. 디코더는, 제2 세트의 데이터를 더 디코딩하고, 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작을 스케일 인자와 함께 식별한다. 그후, 디코더는, 제1 품질 레벨로 복원된 신호에 제2 세트의 디코딩된 데이터에서 식별된 업샘플링 동작 및 스케일 인자를 적용하여 더 높은 제2 품질 레벨로 신호를 복원한다. 복원된 신호를 강화하기 위해, 디코더는 제2 세트의 디코딩된 데이터로부터 잔차 데이터(residual data)를 리트리브한다. 앞서 논의된 바와 같이, 잔차 데이터는 업샘플링 동작 및 스케일 인자의 적용에 후속하여 제2 품질 레벨로 복원된 신호를 어떻게 변형시키는지 나타낸다. 그후, 디코더는 잔차 데이터에 의해 특정된 것과 같이 제2 품질 레벨로 복원된 신호를 변형시킨다. 디코더는 그보다 더 높은 품질 레벨들에서 신호를 복원하는 이러한 프로세스를 반복하도록 구성될 수 있다.
도 1은 본원의 실시예들에 따라서 인코더 및 인코딩된 데이터의 대응 세트들의 발생을 예시하는 예시의 도면이다.
동작 동안, 인코딩 환경(100)에서 인코더(140)는 신호(115)를 프로세싱하여 인코딩된 데이터(150)를 생성한다. 인코더(140)에 의해 인코딩된 신호(115)는 임의의 적절한 유형의 데이터 정보일 수 있다는 것에 주목한다.
비-제한적 예시에 의해, 신호(115)는, 개별적인 이미지 내에서 다수의 신호 엘리먼트들(예컨대, pels/평면 엘리먼트들, 픽셀들/픽쳐 엘리먼트들, 복셀들/용량 픽쳐 엘리먼트들 등) 각각의 세팅들을 나타내는, 이미지 데이터, 심볼들 등일 수 있다. 이미 언급된 바와 같이, 이미지는 2차원(예컨대, 픽쳐들, 비디오 프레임들, 2D 모션 맵들 등), 3차원(예컨대, 3D/공간적 이미지들, 홀로그램 이미지들, CAT-스캔들, 의료용/과학용 이미지들, 3D 모션 맵들 등) 또는 심지어는 3차원을 초과하는 피쳐링일 수 있다. 이러한 실시예에 따르면, (신호(115)에 의해 특정된 것과 같이) 신호 엘리먼트들의 세팅들은 디바이스 상에서 재생을 위해 개별적인 이미지를 어떻게 복원하는지 나타낸다.
인코더(140)에 의해 생성된 인코딩된 데이터(150)는 인코딩된 데이터(150-1)의 세트, 인코딩된 데이터(150-2)의 세트, 인코딩된 데이터(150-3)의 세트 등을 포함하는 인코딩된 데이터의 계층을 포함한다.
일반적으로, 계층에서 개별적인 품질 레벨에 있는 인코딩된 데이터의 개별적인 세트는, 각각의 품질 레벨에 대해 신호를 어떻게 복원하는지 정의하고, 또한 더 높은 품질 레벨들에서 신호를 복원하기 위한 기초이다. 이하 논의되는 바와 같이, 일 세트의 인코딩된 데이터를 이용하여 개별적인 품질 레벨에서의 신호(115)의 복원은 한 단계 더 낮은 품질 레벨에서의 신호의 복원에 의존할 수 있다.
더욱 구체적으로, 일 실시예에 따르면, 개별적인 세트의 인코딩된 데이터(150)는 특정 품질 레벨로 복원하기 위한 하나 이상의 동작들 및/또는 개별적인 잔차 데이터의 개별적인 세트를 포함한다. 예를 들어, 인코딩된 데이터(150-1)의 세트는 하나 이상의 동작들(160-1) 및 잔차 데이터(170-1)를 포함할 수 있고; 인코딩된 데이터(150-2)의 세트는 하나 이상의 동작들(160-2) 및 잔차 데이터(170-2)를 포함할 수 있고; 인코딩된 데이터(150-3)의 세트는 하나 이상의 동작들(160-3) 및 잔차 데이터(170-3)를 포함할 수 있는 식이다.
인코딩된 데이터(150)의 세트들을 생성하기 위해, 인코더(140)는 수신된 신호(115)를 더 낮은 품질 레벨들로 감소시키기 위해 다운샘플링 동작들을 적용한다. 예를 들어, 인코더는 오리지널 이미지 정보를 계층에서 더 낮은 해상도 이미지 정보로 감소시킨다. 인코더(140)에 의해 생성된 인코딩된 데이터(150)는 더 낮은 품질 레벨에 있는 신호(115)를 한 단계 더 높은 품질 레벨에 있는 신호로 어떻게 복원하는지 나타낸다. 인코더(140)는 각각 연속으로 더 낮은 해상도에서 또는 계층에서 각각 연속으로 더 낮은 품질 레벨에서 프로세싱을 반복한다.
이전에 언급된 바와 같이, 하나 이상의 동작들을 특정하는 것뿐만 아니라, 인코딩된 데이터(150)는 잔차 데이터(170)를 포함할 수 있다. 일 실시예에서, 주어진 레벨에 대한 잔차 데이터는 개별적인 품질 레벨에서 복원된 신호를 어떻게 변형시키는지 특정한다. 주어진 품질 레벨에서 복원된 신호의 변형은, 복원된 신호의 정확도를 높이고, 복원된 신호를 더 높은 품질 레벨들에서의 후속하는 샘플링을 위해 더 나은 형태로 두도록 하는 식으로 수행될 수 있다. 일 세트의 인코딩된 데이터가 임의의 잔차 데이터, 또는 임의의 동작들을 선택적으로 포함하지 않을 수 있다는 것에 주목한다. 이러한 경우들에서, 디코더는 이전 품질 레벨들을 복원할 때 확립된 디폴트 파라미터들에 기초하여 더 높은 품질 레벨로의 신호의 복원 및 업샘플링 동작들을 실행한다.
일 실시예에서, 본원의 상세한 설명에서 이후에 논의될 바와 같이, 계층에서 가장 낮은 레벨의 인코딩된 데이터는 신호(115)의 개별적인 더 높은 품질 레벨을 복원하기 위한 시작 지점(starting point)을 생성하는데 이용될 수 있다. 다음 레벨의 인코딩된 데이터(가장 낮은 품질 레벨보다 바로 위 품질)는 가장 낮은 품질 레벨에 있는 복원된 신호에 적용되어 더 높은 신호 품질을 생성할 수 있다. 계층에서 연속적으로 더 높은 레벨에 개별적인 세트의 데이터를 적용하는 것은, 그보다 훨씬 더 높은 해상도 이미지를 생성할 수 있다.
하나 이상의 이미지 동작들(160) 및/또는 잔차 데이터(170)의 개별적인 세트의 포함은 오직 비-제한적 예시로 나타내고, 계층에서 특정 레벨에 있는 개별적인 세트의 인코딩된 데이터(150)는 임의의 동작들(160)을 특정하지 않거나 또는 임의의 잔차 데이터(170)를 포함하지 않을 수 있다는 것에 주목한다.
도 2는 본원의 실시예들에 따른 인코딩 프로세스를 예시하는 예시의 도면이다. 이 예시에서, 도 2의 오리지널 이미지(210)가 신호(115)에 의해 정의되는 것으로 가정한다. 즉, 신호(115)는 다수의 이미지 엘리먼트들(예컨대, 1920×1080 이미지 엘리먼트들)의 그룹에서 각각의 이미지 엘리먼트를 어떻게 설정하는지 나타낸다.
오리지널 이미지(210)의 인코딩 동안, 인코더(140)는 도시된 바와 같이 레벨 M에서 다운샘플링 동작을 수행하여, 계층에서 한 단계 더 낮은 레벨 M-1의 해상도 이미지를 생성하고; 레벨 M-1의 이미지에 기초하여, 인코더(140)는 레벨 M-1에서 다른 다운샘플링 동작을 수행하여, 계층에서 그보다 한 단계 더 낮은 레벨 M-2의 해상도 이미지를 생성하는 식이다.
이전에 논의된 바와 같이, 각각의 개별적인 품질 레벨에서, 인코더(140)는 더 낮은 해상도 또는 더 낮은 품질 레벨 신호를 한 단계 더 높은 해상도 또는 품질 신호로 변환하기 위해 개별적인 세트의 인코딩된 데이터를 생성한다.
일 실시예에 따르면, 인코더(140)는 원하는 스케일 인자에 기초하여 일 품질 레벨로부터 그 다음으로 다운샘플링한다. 예를 들어, 비-제한적 예시에 의해, 도 2는, 레벨 M에서 레벨 M-1로; 레벨 M-1에서 레벨 M-2의 식으로, 한 단계 더 낮은 레벨 해상도를 획득하기 위해 2:1의 스케일 인자를 구현하는 기법을 예시한다. 이 예시에서, 2:1 스케일 인자에 기초하여, 일 품질 레벨에서 한 단계 더 낮은 품질 레벨로의 신호의 각각의 차원이 1/2배로 언더샘플링된다. 각각의 연속적으로 더 낮은 레벨에서, 인코더(140)는 A×B의 해상도를 A/2×B/2의 해상도로, 그리고 A/4×B/4 등으로 감소시킨다.
인코더(140)는 더욱 효율적으로 인코딩 및/또는 디코딩을 행하기 위해 하나의 품질 레벨로부터 다음으로 스케일 인자를 동적으로 변경하도록 구성될 수 있다는 것에 주목한다. 품질 레벨들 각각에 대한 스케일 인자 정보가 인코딩된 데이터의 개별적인 세트들에 저장될 수 있다.
일 실시예에서, 이미지를 정의할 때, 신호(115)의 속성들이 임의의 적절한 포맷에 따라서 인코딩될 수 있지만, 이미지 엘리먼트들의 각각의 컬러 컴포넌트는 YUV, RGB 또는 HSV와 같은 컬러 스페이스 표준에 기초하여 별도로 편성된다(codified).
연속적으로 더 낮은 품질 레벨들로의 필수적인 다운샘플링을 허용하기 위해, 새로운 이미지 엘리먼트들은 필요에 따라 개별적인 품질 레벨에 부가되거나 또는 제거될 수 있다. 예를 들어, 이미지 엘리먼트들의 부가는, 보여질 수 있는 엘리먼트들의 적절하게 사이징된 필드로 이미지를 조절하기 위해 이미지의 경계들을 복제하는 것 또는 미러링 하는 것을 포함할 수 있다. 비디오 신호의 경우에서, 2:1 스케일 인자, 예를 들어, 다운샘플링은 2의 멱수(the power of 2)에 기초하여 용이하게 스케일링하는 개별적인 수평 및 수직 사이즈들을 갖는 이미지들을 통해서 잘 작업하는 경향이 있다.
다운샘플링을 용이하게 하기 위해, 품질 레벨 M-3 및 M-3*에서 나타낸 바와 같이, 인코더(140)는, 이미지가 하나의 레벨에서 다음으로 용이하게 스케일링될 수 있도록, 필요에 따라 이미지 엘리먼트들의 로우들 또는 컬럼들을 부가하거나 또는 삭제함으로써 각각의 레벨에서 해상도 차원들을 조절할 수 있다.
더욱 구체적으로, 일 실시예에서, 다운샘플링된 이미지의 해상도를 조절하기 위해, 인코더(140)는 나타낸 바와 같이 이미지의 둘레 위치(perimeter location)에 있는 또는 그 주위에 있는 로우 또는 컬럼을 복제하거나 또는 미러링함으로써 그리고 그 로우 또는 그 컬럼을 카피함으로써 (어떤 차원이 조절될 필요가 있는지에 따라) 로우들 및/또는 컬럼들을 부가한다. 일 실시예에서, 다운샘플링 동안, 레벨 M-3에서 이미지 엘리먼트들의 경계 로우(예컨대, 맨 아래에 있는 로우)는 자신의 차원들을 변경하기 위해 레벨 M-3*에 대한 이미지를 생성하도록 레벨 M-3의 바닥 로우에 카피되거나 또는 미러링되고 그리고 부가될 수 있다. 그후, 레벨 M-3*에 있는 이미지는 2의 멱수에 기초하여 레벨 M-4까지 더 다운샘플링될 수 있다. 즉, 레벨 M-3*에 있는 이미지는 240 이미지 엘리먼트들 × 136 이미지 엘리먼트들에서 120 이미지 엘리먼트들 × 68 이미지 엘리먼트들의 차원들을 갖는 레벨 M-4로 다운샘플링될 수 있다.
도 3은 본원의 실시예들에 따라서 상이한 레벨들에 있는 이미지 엘리먼트들의 확대를 예시하는 예시의 도면이다.
■ 계층(230)에서의 더 높은 품질 레벨들은 (이후 설명되는 특정 동작들을 이용하여) 더 낮은 레벨들을 업샘플링함으로써 그리고 (이후 설명되는 동작들을 통해서 인코딩되고 송신되는) 필수적인 잔차들을 디코딩함으로써 복원된다. 일 실시예에서, (예컨대, 디코딩 측에서) 업샘플링하는데 이용된 커널/동작이 (예컨대, 인코딩 측에서) 다운샘플링하는데 이용되는 동일한 종류의 커널/동작일 필요는 없다. 또한, 더 낮은 레벨들을 획득하는데 이용되는 동작이 심지어 필터(선형 또는 비-선형)일 필요는 없다: 실제로 이 동작은 기법들의 결합일 수 있다. 즉, 본원에 논의된 인코딩 및 개별적인 디코딩 프로세스는 비대칭일 수 있다. 일 실시예에서, 신호(115)는, 상세한 설명에서 이후에 논의될 바와 같이, 업샘플링 이후에 적용되는 개별적인 잔차 데이터의 엔트로피를 감소시키도록 각각의 품질 레벨에서 하나 이상의 동작들을 통해서 인코딩된다. 이는 오리지널 신호(115)를 복원하는데 필요한 데이터의 양을 감소시킬 수 있다.
■ 일 실시예에 따르면, (실험들에서, 결과 신호가 "보기에 최선"은 아니라도, 정보를 가장 잘 보존하는 커널들/동작들 중 하나인 것으로 보여지는) 수정된(tweaked) 이중선형 필터 또는 삼중선형 필터를 이용하여 더 높은 레벨들(하향 경로)로부터 더 낮은 품질 레벨들이 획득된다. 즉, 복원된 신호(115)는 더 낮은 해상도에 있는 오리지널 이미지의 완벽한 재구성이 아닐 수 있다. 계층에서 더 낮은 품질 레벨들에 있는 인코딩된 신호(115)는 아티팩트들을 포함할 수 있다.
일 실시예에서, 인코딩 동안 이중선형 필터를 적용하는 결과들은, 당업자가 더 높은 레벨들로 다시 업샘플링할 때 잔차들의 엔트로피를 최소화하도록 수정된다. 하나 이상의 품질 레벨들에 대한 잔차 데이터의 엔트로피를 감소시키는 것은, 높은 품질 레벨에서 신호를 복원하기 위해 필요한 전체 데이터량을 감소시킬 수 있다. 일 실시예에서, 인코딩/디코딩은 어느 정도까지는 손실된다. 그러나, 인코딩된 데이터를 이용하는 신호의 복원은 신호(115)의 오리지널 버전의 거의 완벽한 복제품일 수 있다.
일 실시예에서, 더 낮은 레벨들로부터 더 높은 레벨들에서의 신호(115)의 복원은, 이중큐빅 또는 삼중큐빅 필터 동작들, 언샤프 마스킹 필터 동작들, 디블렌딩 필터 동작들 등과 같은 하나 이상의 업샘플링 방법들의 결합을 레버리징하는 것을 포함한다. 예를 들어, 인코딩 동안, 인코더(140)는 디코드 프로세스 동안 복원된 신호를 하나의 품질 레벨에서 다음 레벨로 업샘플링하기 위해 이용되기 위한 개별적인 세트의 인코딩된 데이터에 포함될 하나 이상의 동작들을 특정할 수 있다. 개별적인 레벨에 대해, 그리고 필요한 경우 각각의 신호 엘리먼트에 대해, 인코더(140)는 계층에서 품질 레벨들 각각에서 디코더에 의해 복원된 신호에 적용될 하나 이상의 업샘플링 동작들(예컨대, 이중큐빅 또는 삼중큐빅 필터 동작, 디블렌딩 필터, 언샤프 마스킹 필터 등)을 선택할 수 있고, 하나도 선택하지 않을 수 있다.
도 4는 본원의 실시예들에 따라서 상이한 품질 레벨들로 신호를 복원하기 위해 인코딩된 데이터를 디코딩하는 것을 예시하는 예시도이다.
이전에 논의된 것과 같은 방식으로, 인코더(140)는 각자의 신호(115)를 복원하기 위한 인코딩된 데이터의 세트(425)를 생성한다. 나타낸 바와 같이, 인코딩된 데이터의 세트(425-1)는 일 세트의 잔차 데이터(470-1)를 포함하고; 인코딩된 데이터의 세트(425-2)는 동작들(460-2) 및 잔차 데이터(470-2)를 포함하고; 인코딩된 데이터의 세트(425-3)는 동작들(460-3) 및 잔차 데이터(470-3)를 포함하고, 이와 같이 계층을 올라간다.
나타낸 바와 같이, 디코딩 환경(400)에서 디코더(440)는 인코딩된 데이터(425)의 계층적 세트들을 활용하여 상이한 품질 레벨들에서 개별적인 신호(115)를 복원한다. 이전에 논의된 바와 같이, 본원의 일 실시예는 인코딩된 데이터(425)의 디코딩 세트들에 기초하여 계층에서 연속적으로 더 높은 품질 레벨들로 신호(115)를 복원하는 것을 포함한다. 디코딩된 데이터는 하나의 계층(tier)으로부터 다음 계층으로 업샘플링 및 후속 잔차 변형들을 어떻게 수행하는지를 나타낸다.
이러한 실시예에 따르면, 디코더(440)는, 제1 세트의 인코딩된 데이터(425-1)를 디코딩하고, 제1 세트의 디코딩된 데이터를 활용하여 제1 품질 레벨(예컨대, 레벨 J)에 따라서 복원된 신호(450-1)를 생성한다. 이 예시에서, 레벨 J는 가장 낮은 품질 레벨이고, 그 세트의 인코딩된 데이터(425-1)는 계층에서 가장 낮은 품질 레벨인 복원된 신호(450-1)를 생성하기 위한 잔차 데이터(470-1)와 같은 적절한 데이터를 포함하는 것으로 가정한다. 이 복원된 신호(450-1)(예컨대, 낮은 품질 레벨)는 계층에서 더욱더 높은 품질 레벨들로 업샙플링하기 위한 기초를 제공한다. 그후, 디코더(440)는 계층에서 품질 레벨 J+1로 프로세싱하기 위해 제2 세트의 인코딩된 데이터(425-2)를 디코딩한다. 인코딩된 데이터(425-2)의 세트로부터 디코딩된 데이터에 기초하여, 디코더(440)는 하나 이상의 동작들(460-2)(예컨대, 업샘플링 동작 UJ+1)을 복원된 신호(450-1)에 적용하여 품질 레벨 J+1로 복원된 신호(451-1)를 생성한다. 이 예시에서, (예컨대, 품질 레벨 J+1의) 복원된 신호(451-1)는 품질 레벨 J의 복원된 신호(450-1)의 품질보다 더 높다.
추가적인 실시예들에 따르면, 개별적인 품질 레벨의 복원된 신호를 강화하기 위해, 디코더(440)는 인코딩된 데이터(425-2)로부터 잔차 데이터(470-2)를 리트리브하고 적용하도록 구성될 수 있다.
예시의 실시예에서, 디코더(440)는 복원된 신호를 강화하기 위해 멀티-스케일 엔트로피 디코딩을 구현한다. 예를 들어, 이러한 실시예에서, 디코더는 인코딩된 데이터(425-2)의 디코딩된 세트에 의해 특정된 잔차 데이터(470-2)를 식별한다. 비-제한적 예시에 의해, 디코더(440)는 잔차 데이터(470-2)를 디코딩하기 위해 멀티-스케일 엔트로피 디코더를 활용할 수 있다. 디코딩된 잔차 데이터는 제2 품질 레벨의 복원된 신호의 특정 엘리먼트들을 어떻게 변형시키는지 특정한다. 예를 들어, 디코더(440)는 잔차 데이터(470-2)에 의해 특정된 방식으로 품질 레벨 J+1에서 복원된 신호(451-1)의 엘리먼트들을 변형시킨다.
더욱 구체적으로, 품질 레벨(J+1)과 관련된 잔차 데이터(470-2)는 앞서 논의된 바와 같이 하나 이상의 업샘플링 동작들(460-2)(예컨대, 업샘플링 동작들 UJ+1)의 적용에 후속하여 복원된 신호(451-1)를 어떻게 변형시키는지 나타낸다. 즉, 잔차 데이터(470-2)는 복원된 신호(451-2)를 생성하기 위해 복원된 신호(451-1)의 특정 부분들을 어떻게 변형시키는지 나타낸다. 추가적인 프로세싱을 통해서, 디코더(440)는 잔차 데이터(470-2)에 의해 특정된 방식으로 복원된 신호(451-1)를 변형시켜서 품질 레벨 J+1에서 복원된 신호(451-2)를 생성한다.
앞서 논의된 바와 같이 품질 레벨 J+1에서 프로세싱하는 것에 후속하여, 디코더(440)는 이후 계층에서의 품질 레벨 J+2로 프로세싱하기 위한 인코딩된 데이터(425-3)의 세트를 디코딩한다. 인코딩된 데이터(425-3)의 세트에서의 정보에 기초하여, 디코더(440)는 인코딩된 데이터(425-3)의 세트에서 식별된 하나 이상의 동작들(460-3)(예컨대, 업샘플링 동작들 UJ+2)을 품질 레벨 J+1의 복원된 신호(451-2)에 적용하여 품질 레벨 J+2의 복원된 신호(452-1)를 생성한다. 이 예시에서, 복원된 신호(452-1)의 품질 레벨 J+2는 품질 레벨 J+1의 복원된 신호(451-2)보다 그 품질이 더 높다.
동작들(460-3)을 적용한 후, 디코더(440)는 인코딩된 데이터(425-3)로부터 잔차 데이터(470-3)를 리트리브한다. 품질 레벨 J+2와 관련된 잔차 데이터(470-3)가 앞서 논의된 바와 같이 하나 이상의 업샘플링 동작들(460-3)(예컨대, 업샘플링 동작들 UJ+2)의 적용에 후속하여 복원된 신호(452-1)를 어떻게 변형시키는지 나타낸다. 즉, 잔차 데이터(470-3)는 복원된 신호(452-2)를 생성하기 위해 복원된 신호(452-1)의 특정 부분들을 어떻게 변형시키는지 나타낸다. 동작 RJ+2를 통한 추가적인 프로세싱을 통해서, 디코더(440)는 복원된 신호(452-2)를 생성하기 위해 잔차 데이터(470-3)에 의해 특정된 방식으로 복원된 신호(452-1)를 변형시킨다.
디코더(440)는 계층에서 다수의 품질 레벨들 각각에 대해 전술한 프로세싱을 반복하도록 구성될 수 있다. 예를 들어, 품질 레벨 J+2 보다 높은 다수의 품질 레벨들 각각에 대해, 디코더(440)는: 계층에서 마지막 프로세싱된 품질 레벨보다 한 단계 더 높은 세트의 인코딩된 데이터를 디코딩하는 단계; 한 단계 더 높은 세트의 디코딩된 데이터의 콘텐츠에 기초하여 하나 이상의 업샘플링 동작들을 식별하는 단계; 한 단계 더 높은 품질 레벨에서 신호를 복원하기 위해 한 단계 더 높은 세트의 디코딩된 데이터의 콘텐츠에 기초하여 식별된 하나 이상의 업샘플링 동작들을 (존재하는 경우) 적용하는 단계; 한 단계 더 높은 세트의 디코딩된 데이터에 의해 (존재하는 경우) 특정된 잔차 정보 및/또는 잔차 특성들을 식별하는 단계; 복원된 신호를 한 단계 더 높은 품질 레벨에서 변형시키기 위해 잔차 정보를 적용하는 단계를 반복한다. 이 프로세스는, 디코더가 신호(115)의 복제품 또는 거의 복제품을 복원할 때까지, 반복될 수 있다.
디코더(440)는, 계층에서 품질 레벨에 대해 어떠한 동작들 및/또는 어떠한 잔차 데이터도 특정되지 않는 경우, 상이한 품질 레벨들에서 신호를 복원하기 위한 디폴트 업샘플링 동작들 및/또는 잔차 데이터를 이용하도록 구성될 수 있다. 일 실시예에서, 이러한 디폴트 값들은 신호의 동일한 부분들의 더 낮은 품질 레벨들을 복원하는데 이용되었던 동작들 및/또는 잔차 데이터에 기초하여 획득된다.
신호(115)가 임의의 적절한 유형의 데이터일 수 있다는 것에 주목한다. 그러나, 언급된 바와 같이 일 실시예에서, 신호(115)는 이미지 데이터를 포함한다. 이러한 실시예에 따르면, 디코더(440)는 계층형 세트들의 인코딩된 데이터에 기초하여 더욱더 높은 해상도 또는 더욱더 높은 품질 레벨들로 오리지널 신호(115)를 복원하여 결과적으로 재생을 위한(또는 다른 목적들을 위해 이용될) 이미지를 복원한다. 특정 경우들에서, 낮은 품질 레벨 이미지(예컨대, 계층에서 가장 높은 가능한 해상도보다 낮은 레벨에서 복원된 신호)가, 오리지널 신호(115)와 동일한 해상도를 갖는 버전을 복원할 필요가 없거나 또는 복원할 가능성이 없는 경우, 보여지도록 디스플레이될 (또는 다른 목적들을 위해 이용될) 수 있다.
일 실시예에서, 디코더(440) 또는 다른 적절한 리소스는 더 높은 가능한 레벨 또는 선택된 품질 레벨로 복원된 신호에 따라서 디스플레이 스크린 디바이스 상에서의 이미지 정보의 디스플레이를 개시한다.
도 5는 본원의 실시예들에 따라서 더 낮은 해상도 이미지에서 더 높은 해상도 이미지로 업샘플링하는 것을 예시하는 예시의 도면이다. 이러한 비-제한적 예시에서, 신호(115) 및 대응하는 인코딩된 데이터(425)는 더 낮은 해상도 이미지를 더 높은 해상도 이미지로 어떻게 변환하거나 또는 어떻게 확대하는지 나타내는 것으로 가정한다.
비-제한적 예시에 의해, 인코딩된 데이터의 세트들이 각각의 품질 레벨에서 이미지 엘리먼트들의 세팅들을 어떻게 제어하는지 나타내는 것으로 가정한다. 예를 들어, 품질 레벨 J에서의 이미지(510-1)는 이미지 엘리먼트들 W의 필드를 포함하고; 품질 레벨 J+1에서의 이미지(510-2)는 이미지 엘리먼트들 X의 필드를 포함하고; 이미지(510-3)는 이미지 엘리먼트들 Y의 필드를 포함하는 식이다. 복원된 신호(450-1)는 이미지(510-1)에서 이미지 엘리먼트들 W의 세팅을 어떻게 제어하는지 특정하고; 복원된 신호(451-2)는 이미지(510-2)에서 이미지 엘리먼트들 X의 세팅을 어떻게 제어하는지 특정하고; 복원된 신호(452-2)는 이미지 엘리먼트들 Y의 세팅을 어떻게 제어하는지 특정하는 것으로 가정한다. 따라서, 도 4에서의 디코딩은, 이미지 정보를 디코딩하고, 상이한 품질 레벨들에 따라서 오리지널 신호(115)의 상이한 렌디션들(renditions)을 생성하는데 이용될 수 있다.
후속하는 도 6 및 도 7은, 업샘플링을 어떻게 수행하는지 그리고 잔차 데이터를 어떻게 적용하는지 더욱 구체적으로 나타낸다.
예를 들어, 도 6은 본원의 실시예들에 따라서 더 낮은 해상도 이미지를 더 높은 해상도 이미지로 업샘플링하는 간단한 예시를 예시하는 도면이다.
이 예시에서, 인코딩된 데이터(425-1)의 세트가 복원된 신호(450-1)를 어떻게 생성하는지 나타내는 것으로 가정한다. 복원된 신호(450-1)는 후술하는 바와 같이 이미지 엘리먼트들의 디스플레이 세팅들을 나타낸다: 이미지 엘리먼트 W1=100, 이미지 엘리먼트 W2=92, 이미지 엘리먼트 W3=98, 이미지 엘리먼트 W4=20. 유사한 방식으로, 도 4에서 인코딩된 데이터(425-2)의 세트로부터 도출되는 복원된 신호(451-1)는 도 6에 나타낸 바와 같이 이미지(620-1)에서 이미지 엘리먼트들의 디스플레이 세팅들을 나타내고; 도 4에서 복원된 데이터(451-2)는 도 6에 도시된 바와 같이 이미지(620-2)에서 이미지 엘리먼트들의 디스플레이 세팅들을 나타낸다.
따라서, 비-제한적인 예시에서, 이미지(610)는 복원된 신호(450-1)의 표현이고; 이미지(620-1)는 복원된 신호(451-1)의 표현이며; 이미지(620-2)는 복원된 신호(451-2)의 표현인 식이다.
이전에 논의된 바와 같이, 품질 레벨 J+1에 대한 동작들(460-2)은 도 4의 단계 UJ+1에서 어떻게 업샘플링하는지 나타낸다. 이 예시에서, 업샘플링 동작들(460-2)은 이미지(610)의 이미지 엘리먼트 W1를 100의 동일한 값을 갖는 4개의 이미지 엘리먼트들로 변환하는 것을 나타내는 것으로 가정한다. 따라서, 디코더(440)에 의한 업샘플링 동작의 적용을 통해서 동일한 값의 4개의 이미지 엘리먼트들(X1, X2, X3, 및 X4)로의 이미지 엘리먼트 W1의 확대를 초래한다. 유사한 방식으로, 다른 이미지 엘리먼트들(W2, W3, 및 W4) 각각은 나타낸 바와 같이 동일한 값의 4개의 대응 이미지 엘리먼트들로 확대된다.
4개의 이미지 엘리먼트들로의 단일 이미지 엘리먼트의 확대는 오직 비-제한적인 예시에 의해 나타내고, 하나의 품질 레벨로부터 다음 품질 레벨로의 이미지 엘리먼트의 확대의 양은 실시예에 따라 변화할 수 있다는 것에 주목한다. 예를 들어, 단일 이미지 엘리먼트는 하나의 품질 레벨로부터 다음 품질 레벨로 업샘플링할 때 임의의 수의 적절한 이미지 엘리먼트들(예컨대, 4개의 이미지 엘리먼트들만이 아님)로 확대될 수 있고, 이미지를 평활화하기 위해 엘리먼트 값들을 단순하게 복제하는 것 대신에 적절한 필터링 커널/동작이 적용될 수 있다. 또한, 이미지(610), 이미지(620-1), 이미지(620-2)는, 개별적인 품질 레벨에 있는, 전체 세트의 이미지 엘리먼트들의 오직 일부만 나타낼 수 있다는 것에 주목한다.
변형 동작 RJ+1에서 잔차 데이터(470-2)(예컨대, 차이 데이터의 매트릭스)의 적용을 통해서, 디코더(440)는 잔차 데이터(470-2)의 세트를 적용하여 이미지 엘리먼트들(620-1)과 관련된 세팅들을 변형시킨다. 예를 들어, 디코더(440)는 잔차 데이터(470-2)의 매트릭스의 오프셋 또는 차이 값들을 이미지(620-1)의 이미지 엘리먼트 값들에 부가함으로써 이미지(620-1)의 이미지 엘리먼트들의 값을 조절하여 나타낸 바와 같이 이미지(620-2)를 생성한다.
도 7은 본원의 실시예들에 따라서 더 낮은 해상도 이미지를 더 높은 해상도 이미지로 업샘플링하는 것을 예시하는 예시의 도면이다. 그러나, 도 6의 예시에서와는 다르게, 도 7의 이 예시는 적용된 업샘플링 동작에 따라서 단일 이미지 엘리먼트를 상이한 값들의 다수의 이미지 엘리먼트들로 확대하는 것을 포함한다.
이 예시에서, 인코딩된 데이터(425-1)의 세트는 복원된 신호(450-1)를 어떻게 생성하는지 나타내는 것으로 가정한다. 복원된 신호(450-1)는 후술하는 바와 같은 이미지(710)의 이미지 엘리먼트들의 디스플레이 세팅들을 나타낸다: 이미지 엘리먼트 W1=100, 이미지 엘리먼트 W2=92, 이미지 엘리먼트 W3=98, 이미지 엘리먼트 W4=20. 유사한 방식으로, 이 예시에서, 도 4의 복원된 신호(451-1)는 도 7에서 나타낸 바와 같이 이미지(720-1)에서 이미지 엘리먼트들의 디스플레이 세팅들을 나타낸다. 도 4의 복원된 신호(451-2)는 도 7에 나타낸 바와 같이 이미지(720-2)에서의 이미지(720-2)의 이미지 엘리먼트들의 디스플레이 세팅들을 나타낸다.
따라서, 이 비-제한적 예시에서, 이미지(710)는 복원된 신호(450-1)의 표현이고; 이미지(720-1)는 복원된 신호(451-1)의 표현이며; 이미지(720-2)는 복원된 신호(451-2)의 표현인 식이다.
이전에 논의된 바와 같이, 품질 레벨 J+1에 대한 동작들(460-2)은 도 4의 단계 UJ+1에서 어떻게 업샘플링하는지 나타낸다. 이 예시에서 업샘플링 동작들(460-2)은 이미지(610)의 이미지 엘리먼트 W1를 상이한 값들을 갖는 4개의 이미지 엘리먼트들로 어떻게 변환하는지를 나타내는 것으로 가정한다. 예를 들어, 디코더(440)에 의한 동작들(460-2)의 실행은 이미지 엘리먼트 W1을 이미지(720-1)에서 4개의 상이한 값의 이미지 엘리먼트들: X1=100, X2=100, X3=100, 및 X4=95로 변환한다. 따라서, 이 예시에서, 100으로 세팅된 4개의 이미지 엘리먼트들(예컨대, X1, X2, X3, 및 X4)로 이미지 엘리먼트 W1=100를 확대하는 대신에, 디코더(440)는 W1의 값과는 상이한 값들로 X1, X2, X3, 및 X4를 세팅한다.
일 실시예에서, 디코더(440)는 하나 이상의 동작들, 예를 들어, 이중큐빅 또는 삼중큐빅 필터 동작, 디블렌딩 필터, 언샤프 마스킹 필터 등을 적용하여 하나의 신호 엘리먼트를 상이한 디스플레이 세팅 값들을 갖는 다수의 신호 엘리먼트들로 확대한다. 확대된 엘리먼트들에 할당된 값들은 이웃 신호 엘리먼트들의 세팅들에 적어도 부분적으로 기초하여 선택될 수 있다.
앞서 언급된 바와 같이, 신호 엘리먼트들의 값들은, 개별적인 디스플레이 디바이스가 사용자에게 이미지를 디스플레이할 수 있도록 하는, 임의의 정보, 예컨대, 컬러, 색조, 휘도 등을 나타낸다.
유사한 방식으로, 다른 이미지 엘리먼트들(W2, W3, 및 W4) 각각은 도 7에 도시된 바와 같이 동일한 또는 상이한 값의 4개의 대응 이미지 엘리먼트들로 확대된다.
다시, 하나의 이미지 엘리먼트를 4개의 이미지 엘리먼트들로 확대하는 것은 오직 비-제한적인 예시로서 나타내는 것이고, 하나의 품질 레벨로부터 다음 품질 레벨로의 이미지 엘리먼트의 확대의 양은 실시예에 따라 변화할 수 있다는 것에 주목한다. 예를 들어, 하나의 이미지 엘리먼트는 하나의 품질 레벨로부터 다음 품질 레벨로 업샘플링할 때 임의의 수의 적절한 이미지 엘리먼트들(예컨대, 오직 4개의 이미지 엘리먼트들인 것은 아님)로 확대될 수 있다. 또한, 이미지(710), 이미지(720-1), 이미지(720-2)는, 개별적인 품질 레벨에 있는, 전체 세트의 이미지 엘리먼트들의 오직 일부만 나타낼 수 있다.
이미지 엘리먼트들을 확대하기 위해 앞서 논의된 바와 같이 하나 이상의 업샘플링 동작을 적용하는 것에 후속하여, 디코더는 이미지(720-2)를 생성하기 위해 잔차 데이터(470-2)를 이미지(720-1)에 적용한다. 변형 동작 RJ+1에서 잔차 데이터(470-2)(예컨대, 차이 데이터의 매트릭스)를 이용하여, 디코더(440)는 이미지 엘리먼트들(720-1)과 관련된 세팅들을 변형시키기 위해 잔차 데이터(470-2)의 세트를 적용한다. 예를 들어, 디코더(440)는 잔차 데이터(470-2)의 매트릭스 내의 오프셋 또는 상이한 값들을 이미지(720-1)의 이미지 엘리먼트 값들에 부가함으로써 이미지(720-1)의 이미지 엘리먼트들의 값을 조절하여 나타낸 바와 같이 이미지(720-2)를 생성한다. 앞서 언급된 바와 같이, 디코더는 신호(115)를 복원하기 위해 계층에서 상이한 품질 레벨들에서 이러한 단계들을 반복한다.
상이한 품질 레벨들에서의 상이한 업샘플링 동작들의 이용
일 실시예에 따르면, 인코딩된 데이터의 세트들은 개별적인 신호(115)를 복원하기 위해 상이한 레벨들에 적용하기 위한 상이한 업샘플링 동작들을 특정할 수 있다. 예를 들어, 인코딩된 데이터(425-2)의 세트는 품질 레벨 J+1에서 품질 레벨 J+2로 업샘플링(예컨대, UJ+2) 할, 제1 업샘플링, 예컨대, 이중큐빅 또는 삼중큐빅 필터 동작을 특정할 수 있다. 인코딩된 데이터(425-3)의 세트는 품질 레벨 J+2에서 품질 레벨 J+3으로 업샘플링(예컨대, UJ+3) 할, 제2 업샘플링, 예컨대, 디블렌딩 필터 동작을 특정할 수 있는 식이다. 각각의 품질 레벨에서 상이한 업샘플링 동작들(또는 이들의 결합들)을 특정하고 적용하는 능력은, 디코더(440)가 오직 디폴트 업샘플링 동작만을 이용하여 신호를 복원하도록 요구되지 않는 것과 같은 유연성을 제공한다.
다수의 품질 레벨들에서의 동일한 하나 이상의 업샘플링 동작의 이용
다른 실시예에 따르면, 하나의 품질 레벨에서 사용하기 위해 특정된 업샘플링 동작은 개별적인 신호(115)를 복원하기 위해 연속적으로 더 높은 품질 레벨들에서 이용될 수 있다. 예를 들어, 디코더(440)는 이전에 논의된 바와 같이 품질 레벨 J+2로 신호(115)를 복원하기 위해 인코딩된 데이터(425-2)의 세트에 의해 특정된 바와 같이 하나 이상의 업샘플링 동작들을 적용하도록 구성될 수 있다.
인코딩된 데이터(425-3)의 세트(예컨대, 더 높은 품질 레벨)는 어떠한 업샘플링 동작들도 특정하지 않을 수 있다. 이러한 실시예에 따르면, 디코더(440)는, 더 높은 품질 레벨에 대한 디코딩된 데이터의 개별적인 세트가 해당 업샘플링 동작의 적용을 중단하도록 나타낼 때까지 그리고/또는 더 높은 품질 레벨에 대한 인코딩된 데이터의 세트가 상이한 세트의 하나 이상의 업샘플링 동작들을 적용하도록 나타낼 때까지, 더 높은 품질 레벨들의 신호(115)를 복원하도록 구성될 수 있다.
따라서, 본원의 실시예들은 더 높은 품질 레벨로 인코딩된 데이터의 세트를 디코딩하는 것을 포함할 수 있다. 더 높은 품질 레벨로 인코딩된 데이터의 세트가 특정 업샘플링 동작을 특정하지 않는 것으로 식별하는 것에 응답하여, 디코더(440)는 더 낮은 품질 레벨에서 이용된 업샘플링 동작들을 적용하여 더 높은 품질 레벨에서 신호를 복원한다.
다수의 품질 레벨들에서 잔차 데이터의 이용
다른 추가적인 실시예들에 따르면, 하나의 품질 레벨에서 이용되도록 특정된 잔차 데이터는, 더 높은 품질 레벨이 상이한 잔차 데이터를 이용하도록 나타내거나 또는 더 높은 품질 레벨이 그 잔차 데이터의 적용을 중단하도록 나타낼 때까지, 개별적인 신호(115)를 복원하기 위해 연속적으로 더 높은 품질 레벨들에서 이용될 수 있다. 예를 들어, 디코더(440)는 특정 품질 레벨에서 디코딩된 데이터의 세트로부터 잔차 데이터를 리트리브할 수 있다. 이전에 논의된 바와 같이, 잔차 데이터는 특정된 업샘플링 동작의 적용에 후속하여 특정 품질 레벨에서 복원된 신호를 어떻게 변형시키는지 나타낸다. 디코더(440)는 인코딩된 데이터의 세트에 의해 특정된 바와 같이 특정 품질 레벨에서, 복원된 신호를 변형시킨다. 추가적으로, 디코더(440)는 특정 품질 레벨보다 높은 품질 레벨에서 복원된 신호를 변형시킨다.
예시로서, 디코더(440)는 인코딩된 데이터(425-2)의 세트에 의해 특정된 잔차 데이터(470-2)를 식별하는 것으로 가정한다. 잔차 데이터(470-2)는, 품질 레벨 J+1에서 복원된 신호 내에서의 엘리먼트들의 위치를 특정하고, 품질 레벨 J+1에서 복원된 신호(451-1)의 엘리먼트들을 어떻게 변형시키는지 특정한다. 디코더(440)는 잔차 데이터(470-2)에 의해 특정된 방식으로 품질 레벨 J+1에서, 복원된 신호(451-1)의 부분들 또는 엘리먼트들을 변형시킨다. 디코더(440)는, 더 높은 품질 레벨에 대한 디코딩된 데이터의 개별적인 세트가 더 높은 품질 레벨들에서 상이한 잔차 데이터를 이용하도록 나타낼 때까지, 더 높은 품질 레벨들(예컨대, J+2 및 그보다 더 높은 레벨들)에서 신호(115)의 복원을 위해서도 잔차 데이터(470-2)를 이용한다.
복원된 신호의 특정 부분들에 업샘플링 동작들을 적용
다른 추가적인 실시예들에 따르면, 인코딩된 데이터의 개별적인 세트는 복원된 신호의 특정 부분들에 디코더에 의해 적용되어야 하는 상이한 업샘플링 동작들을 특정할 수 있다. 신호의 일부분은 특정 품질 레벨에 따라 상이한 수의 신호 엘리먼트들(1보다 크거나 또는 동일함)로 특징지워진다. 예시로서, 디코더(440)가, 디코딩된 데이터의 세트에 의해 특정된 업샘플링 동작을 적용할, 품질 레벨 X-1에서 복원된 신호의 (예컨대, 위치로 나타낸 것과 같은) 특정 부분을 식별하기 위해 품질 레벨 X에서 디코딩된 데이터의 세트를 프로세싱하는 것으로 가정한다. 그후, 디코더(440)는, 품질 레벨 X-1(예컨대, 품질 레벨 X의 바로 아래의 품질 레벨)에서 복원된 신호의 특정 부분(예컨대, 이 특정 부분이 복원된 이미지라면 이미지 엘리먼트들 전체보다 작은 부분)에 업샘플링 동작을 적용하여 품질 레벨 X에서 신호를 복원한다.
예시로서, 주어진 품질 레벨에 대한 인코딩된 데이터의 세트가 업샘플링을 수행하기 위해 복원된 신호의 제1 부분(예컨대, 복원된 신호에서의 제1 영역, 제1 유형의 데이터 등)에 적용하기 위한 제1 동작을 특정할 수 있고; 주어진 품질 레벨에 대한 인코딩된 데이터의 세트가 또한 복원된 신호의 제2(상이한) 부분(예컨대, 복원된 신호에서의 제2 영역, 제2 유형의 데이터 등)에 적용하기 위한 제2 동작을 특정할 수 있는 식이다.
인코딩된 데이터의 세트는 신호의 특정 부분들에 대해 어떠한 업샘플링 동작들을 특정하지 않을 수도 있다. 실시예에 따르면, 신호의 각각의 부분에 대해, 디코더(440)는, 더 높은 품질 레벨에 대한 디코딩된 데이터의 개별적인 세트가 업샘플링 동작의 적용을 중단하도록 나타낼 때까지 그리고/또는 더 높은 품질 레벨에 있는 인코딩된 데이터의 세트가 하나 이상의 업샘플링 동작의 상이한 세트를 적용하도록 나타낼 때까지, 더 높은 품질 레벨들에서 신호(115)를 복원하도록 구성될 수 있다.
추가적인 실시예에 따르면, 디코더(440)는 업샘플링 프로세싱을 적용할 복원된 신호의 특정적으로 식별된 부분의 속성 유형(예컨대, 빠른 모션의, 정지하고 있는, 느린 모션 등의 촛점-내(in-focus) 영역, 촛점-외(out-of-focus) 영역, 인간의 얼굴, 텍스트, 다른 오브젝트들)을 식별하기 위해 각각의 품질 레벨에서 데이터의 세트들을 프로세싱할 수 있다. 디코더는 특정된 속성 유형의 복원된 신호의 임의의 데이터에 특정된 동작들을 적용한다. 디코더(440)는 특정된 하나 이상의 동작들을 적용할 복원된 신호의 적절한 부분들을 식별하기 위해 복원된 신호를 분석할 필요가 있을 수 있다.
일 실시예에서, 디코더(440)는 특정된 속성 유형을 갖는 복원된 신호의 부분에 대해 수행될 하나 이상의 업샘플링 동작들의 세트에 인코딩된 데이터의 세트에 특정된 속성 유형을 매핑할 수 있다. 예를 들어, 특정 품질 레벨에 대한 특정 속성 유형의 신호의 각각의 부분에 대해, 디코더(440)는 즉각(immediate) 품질 레벨의 그리고 신호의 그 부분의 후속하여 더 높은 품질 레벨들의 복원을 위한 디폴트 업샘플링 동작들로서 자신의 속성 유형에 의해 정의된 하나 이상의 업샘플링 동작들의 세트를 활용한다. 동일한 동작들은, 제1 품질 레벨보다 더 높은 품질 레벨에 대한 디코딩된 데이터의 개별적인 세트가 신호에 대해 또는 속성 유형들이 상이한 신호의 부분들에 대해 이용하는 것으로 특정할 때까지, 이용될 수 있다.
따라서, 주어진 품질 레벨에 대해 인코딩된 데이터의 세트에 의해 특정된 바와 같이, 특정된 동작들은 주어진 품질 레벨에 대한 데이터의 특정 속성 유형뿐만 아니라 동일한 특정된 속성 유형을 갖는 더 높은 품질 레벨들에 있는 데이터의 특정 속성 유형에 적용될 수 있다.
상이한 품질 레벨들에서 상이한 스케일 인자들의 이용
추가적인 실시예들에 따르면, 디코더(440)는 개별적인 품질 레벨을 업샘플링하기 위한 스케일 인자 값(예컨대, 신호의 차원들 또는 해상도)을 식별하기 위해 인코딩된 데이터의 세트 각각을 디코딩하도록 구성될 수 있다. 그 명칭이 제시하듯이, 스케일 인자 값은 품질 레벨 J+1에서의 복원된 신호를 품질 레벨 J+2의 복원된 신호로 업샘플링할 해상도를 특정할 수 있다. 디코더(440)는, 디코더(440)에 알려진 디폴트 스케일 인자 값에 따라서 업샘플링하는 것 대신에, 스케일 인자에 의해 특정된 바와 같이, 품질 레벨(J+1)에 있는 복원된 신호를 품질 레벨 J+2의 복원된 신호로 업샘플링하도록 구성될 수 있다.
하나의 품질 레벨에서 다른 레벨로의 복원된 신호의 특정 업샘플링을 위해 특정된 어떠한 스케일 인자도 존재하지 않는 경우, 디코더는 디폴트 스케일 인자 또는 이전의 더 낮은 품질 레벨에서 특정된 미리결정된 스케일 인자를 이용한다. 일 실시예에서, 디코더(440)는, 계층에서 상이한 품질 레벨들에 대해 디폴트 스케일 인자 값들에 따라서 업샘플링을 수행하는 것 대신에, 신호(115)를 복원하기 위해 계층의 상이한 레벨들에서 디코딩된 데이터의 세트들에 의해 특정된 스케일 인자 값들을 활용한다.
인코딩된 데이터의 세트들은 상이한 품질 레벨들에 대한 상이한 스케일 인자들을 특정할 수 있다. 예를 들어, 일 실시예에서, 상이한 품질 레벨들에 대한 스케일 인자 값들(각각의 품질 레벨에서 인코딩된 데이터의 세트들에서 특정된 스케일 인자 값, 또는 어떠한 스케일 인자도 인코딩된 데이터의 세트 내에서 특정되지 않은 경우 디폴트 스케일 인자 값으로서 디코더(440)에 의해 알려진 스케일 인자 값)은 제1 스케일 인자 값 및 제2 스케일 인자 값을 포함한다. 이 예시에서, 품질 레벨 J+1이 품질 레벨 J로부터 품질 레벨 J+1로 업샘플링하기 위한 스케일 인자를 나타내는 디코딩된 데이터의 세트에 의해 특정된 제1 스케일 인자 값을 가정한다. 인코딩된 데이터의 세트는 제2 스케일 인자를 이용하여 이전에 논의된 방식으로 품질 레벨 J+1로부터 품질 레벨 J+2로 업샘플링하는 것으로 나타날 수 있다. 제1 스케일 인자 값은 제2 스케일 인자 값과는 상이하다. 따라서, 디코더(440)는 하나의 레벨에서 다음으로 상이한 스케일 인자들에 따라서 업샘플링할 수 있다. 다른 추가적인 실시예에서, 디코더(440)는 제1 품질 레벨의 해상도에 제1 스케일 인자를 곱함으로써 획득된 해상도로 신호를 먼저 업샘플링한다. 그 시점에서, 이전에 논의된 바와 같이, 더 높은 품질 레벨에 있는 제2 스케일 인자 값에 기초하여, 디코더(440)는 제2 스케일 인자로 특정된 해상도에서 신호를 복원하기 위해 복원된 신호의 최외측 평면들을 제거한다(예컨대, 2D 신호의 경우 이미지의 경계(border)에 있는 하나 이상의 로우들 또는 컬럼들을 제거한다).
복원된 신호에서의 아티팩트들을 시뮬레이팅
다른 실시예에 따르면, 디코더(440)는 신호 복원시에 시뮬레이팅될 효과들의 특성들을 식별하기 위해 인코딩된 데이터의 하나 이상의 세트들을 디코딩하도록 구성될 수 있다. 예를 들어, 인코딩된 데이터의 개별적인 세트에서 특정된 신호 특징들은 (예컨대, 가장 높은 또는 선택된 품질 레벨에 있는 것과 같은) 특정 품질 레벨에 있는 신호의 복원된 버전에 부가될 특정 효과들을 어떻게 시뮬레이팅하는지 디코더(440)에게 나타낼 수 있다. 이러한 실시예에 따르면, 인코딩된 데이터의 세트는, 변형되어야 할 복원된 신호의 특정 엘리먼트들 및 적용하기 위한 특정 변형들을 나타낼 필요가 없다. 대신에, 인코딩된 데이터의 세트는 복원된 신호에 적용될 또는 그 신호에서 분포될 효과 또는 증대를 나타낸다.
예시로서, 디코더(440)는 더 낮은 우선순위 정보를 나타내는 잔차들의 오리지널 버전에서 발견된 효과들과 관련된 분광 특성들을 식별하기 위해 데이터의 세트를 디코딩하도록 구성될 수 있다. 이러한 효과들은 필름 그레인, 카메라 센서 노이즈, 신호의 더 낮은 우선순위 세부사항들 등과 같은 속성들일 수 있다. 인코딩된 데이터 내의 분광 특성들은 계층에서 하나 이상의 품질 레벨들에 있는 복원된 신호에 이러한 효과들을 부가함으로써 효과들을 어떻게 시뮬레이팅하는지 디코더(440)에게 나타낼 수 있다. 효과들을 부가하는 것에 관한 분광 정보는 시뮬레이팅될 효과들의 출현 및 효과들의 개별적인 분포를 나타낼 수 있다. 그러나, 분광 정보는 신호의 오리지널 버전에서 존재하는 아티팩트들을 면밀하게 복원하기 위해 필요로 될 수 있는 잔차들의 특정 값들 또는 실제 위치를 나타낼 필요가 없다.
추가적인 실시예들에 따르면, 각각의 신호 엘리먼트에 대해, 디코더(440)는, 분광 정보가 식별되었던 품질 레벨보다 더 높은 품질 레벨들에 대해 시뮬레이팅된 효과들을 특징화하기 위해 또한 디코딩된 데이터의 세트에 의해 특정된 바와 같이 분광 특성들을 활용한다. 즉, 이전에 논의된 바와 같은 방식으로, 복원된 신호의 각각의 부분에 대해, 디코더(440)는, 더 높은 품질 레벨에 대한 디코딩된 데이터의 개별적인 세트가, 복원된 신호에 대해 또는 복원된 신호의 특정 부분들에 대해, 시뮬레이팅된 효과들의 상이한 분광 특성들을 이용하도록 특정할 때까지, 계층에서 다수의 품질 레벨들에 대해 이전 레벨들에서 특정된 시뮬레이팅된 잔차들의 특성들을 이용할 수 있다. 따라서, 디코더(440)는 분광 정보에 의해 특정된 방식으로 개별적인 더 높은 품질 레벨에서의 디스플레이를 위해 복원된 신호의 엘리먼트들을 변형시키기 위해 분광 특성들의 세트를 활용하도록 구성될 수 있다. 일 실시예에서, 디코더는, 복원된 신호가 디스플레이 디바이스 상에 디스플레이되는, 품질 레벨에 있는 분광 특성 정보를 적용한다.
다수의 복원된 평면들의 정보에 기초한 신호 복원
일 실시예에 따르면, 디코더(440)는 신호의 상이한 컬러 평면들(예컨대, 적색 녹색 청색, YUV, HSV 또는 컬러 스페이스들의 다른 유형들)에 대한 별도의 신호 계층들을 수신한다. 별도의 신호 계층들은 독립적인(및 잠재적으로 상이한) 스케일 인자들, 동작들 및 가장 높은 품질 레벨들을 피쳐링할 수 있다. 상이하게 복원된 컬러 평면들이 상이한 품질 레벨들을 피쳐링할 때, 디코더는, 더 낮은-해상도 컬러 평면들이 가장 높은 품질 레벨을 갖는 컬러 평면의 해상도에 일치시키기 위해 그 더 낮은-해상도 컬러 평면들을 업샘플링하고, 후속하여 복원된 컬러 평면들 모두를 복원된 컬러 신호로 조인시켜 디스플레이 디바이스에 전송한다. 이에 따라, 업샘플링은 계층에서 각각의 품질 레벨에 대해 정보의 3개 또는 그 이상의 평면들을 복원하는 것을 포함할 수 있다. 개별적인 품질 레벨에서 평면 정보의 결합은 개별적인 품질 레벨에 대한 복원된 신호 또는 이미지를 정의한다.
예시의 실시예에서, 디코더(440)는 각각의 품질 레벨에서 3개의 평면들을 복원할 수 있다. 하나의 평면은 이미지 엘리먼트들과 관련된 휘도(예컨대, YUV 표준에서 Y)를 나타낼 수 있고; 다른 평면은 이미지 엘리먼트들과 관련된 청색 색차(예컨대, YUV 표준에서 U)를 나타낼 수 있고; 그리고 다른 평면은 이미지 엘리먼트들과 관련된 적색 색차(예컨대, YUV 표준에서 V)를 나타낼 수 있다. 각각의 평면은 상이한 품질 레벨들에 따라서 인코딩될 수 있다. 예를 들어, 개별적인 이미지를 볼 때 가장 중요한 것인 휘도 평면은 상세함에 있어서 가장 높은 레벨로 인코딩될 수 있고; 개별적인 이미지를 볼 때 색차 평면들은 덜 중요하기 때문에 색차 평면들은 상세함에 있어서 그보다 낮은 레벨로 인코딩될 수 있다.
실시예에 따르면, 계층에서 연속적으로 더 높은 품질 레벨들에서 신호를 복원하는 방법은, 디코딩된 데이터의 제2 세트로부터, 보조 정보, 특히, 모션에 대한 정보, 왜곡(warp) 정보 등을 리트리빙하는 단계들을 더 포함하며, 그 보조 정보는 제1 품질 레벨에 있는 신호에 업샘플링 동작(들)의 적용에 영향을 주고, 그리고 잔차 데이터에 의해 특정된 것과 같이 제2 품질 레벨에서 복원된 신호의 변형에 영향을 주는 파라미터들을 나타낸다.
도 8은 본원의 실시예에 따라 컴퓨터 프로세싱을 제공하는 컴퓨터 시스템(800)의 예시의 블록도이다.
컴퓨터 시스템(800)은 컴퓨터화된 디바이스, 예컨대, 개인용 컴퓨터, 프로세싱 회로, 워크스테이션, 포터블 컴퓨팅 디바이스, 콘솔, 네트워크 단말, 프로세싱 디바이스, 네트워크 디바이스, 오퍼레이팅(예컨대, 스위치, 라우터, 서버, 클라이언트 등)일 수 있거나 또는 이들을 포함할 수 있다.
이하의 논의는 이전에 논의된 것과 같이 디코더(440)와 관련된 기능을 어떻게 수행할지 나타내는 기본적인 실시예를 제공하는 것에 주목한다. 그러나, 본원에 설명된 바와 같이 동작들을 수행하기 위한 실제 구성은 개별적인 적용에 따라 변할 수 있다는 것에 주목해야 한다.
나타낸 바와 같이, 현재 예시의 컴퓨터 시스템(800)은, 디지털 정보가 저장될 수 있고 리트리브될 수 있는, 컴퓨터 판독가능 저장 매체(812), 예컨대, 비-일시적 유형의 매체, 컴퓨터 판독가능, 하드웨어 저장 매체 등을 커플링하는 상호접속부(811)를 포함한다. 컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814), 및 통신 인터페이스(817)를 더 포함할 수 있다.
I/O 인터페이스(814)는 저장소(180), 그리고 만약 존재하는 경우, 디스플레이 스크린, 주변 디바이스들(816), 예컨대, 키보드, 컴퓨터 마우스 등으로의 접속을 제공한다.
컴퓨터 판독가능 저장 매체(812)(예컨대, 하드웨어 저장 매체)는 임의의 적절한 디바이스 및/또는 하드웨어, 예컨대, 메모리, 광학 저장, 하드 드라이브, 플로피 디스크 등일 수 있다. 컴퓨터 판독가능 저장 매체는 디코더 애플리케이션(440-1)과 관련된 명령들을 저장하기 위한 비-일시적 저장 매체일 수 있다. 명령들은 본원에 논의된 바와 같은 임의의 동작들을 수행하기 위한 개별적인 리소스, 예컨대, 디코더(440)에 의해 실행된다.
통신 인터페이스(817)는 컴퓨터 시스템(800)이 원격의 리소스들로부터 정보를 리트리브하고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들 등과 통신하도록 원격의 네트워크(190)를 통해서 통신하게 한다. I/O 인터페이스(814)는 또한 프로세서(813)가 저장소(180)로부터의 저장된 정보를 리트리브하거나 또는 그 정보의 리트리벌(retrieval)을 시도하게 한다.
나타낸 바와 같이, 컴퓨터 판독가능 저장 매체(812)는 스위치 리소스 프로세스(840-2)로서 프로세서(813)에 의해 실행된 디코더 애플리케이션(840-1)으로 인코딩될 수 있다.
컴퓨터 시스템(800) 또는 디코더(440)는 또한 데이터 및/또는 로직 명령들을 저장하기 위한 컴퓨터 판독가능 저장 매체(812)(예컨대, 하드웨어 저장 매체, 비-일시적 저장 매체 등)를 포함하도록 구현될 수 있는 것에 주목한다.
컴퓨터 시스템(800)은 본원에 논의된 바와 같이 이러한 명령들을 실행하고 동작들을 수행하기 위한 프로세서(813)를 포함할 수 있다. 이에 따라, 실행될 때, 디코더 애플리케이션(440-1)과 관련된 코드는 본원에 논의된 바와 같이 프로세싱 기능을 지원할 수 있다. 일 실시예의 동작 동안, 프로세서(813)는 컴퓨터 판독가능 저장 매체(812)에 저장된 디코더 애플리케이션(440-1)의 명령들을 론칭하거나, 구동하거나, 실행하거나, 해석하거나 또는 그렇지 않으면 수행하기 위해 상호접속부(811)의 이용을 통해서 컴퓨터 판독가능 저장 매체(812)에 액세스한다. 디코더 애플리케이션(440-1)의 실행은 프로세서(813)에서 프로세싱 기능을 생성한다. 즉, 프로세서(813)와 관련된 디코더 프로세스(440-2)는 컴퓨터 시스템(800)의 프로세서(813) 내에서 또는 상에서 디코더 애플리케이션(440-1)을 실행하는 하나 이상의 양상들을 나타낸다.
당업자들은, 컴퓨터 시스템(800)이 디코더 애플리케이션(440-1)을 실행하기 위해 하드웨어 프로세싱 리소스들의 할당 및 이용을 제어하는 오퍼레이팅 시스템과 같은 다른 프로세스들 및/또는 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.
상이한 실시예들에 따르면, 컴퓨터 시스템은, 개인용 컴퓨터 시스템, 데스크탑 컴퓨터, 랩탑, 노트북, 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 저장 디바이스, 가전 제품 디바이스(예컨대, 카메라, 캠코더, 셋톱 박스, 모바일 디바이스, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스, 주변 디바이스(예컨대, 스위치, 모뎀, 라우터, 또는 일반적으로는, 임의의 유형의 컴퓨팅 또는 전자 디바이스))을 포함하는(그러나, 이에 한정되는 것은 아님) 임의의 다양한 유형들의 디바이스들일 수 있다는 것에 주목한다.
이제, 디코더(440)에서 컴포넌트들에 의해 지원된 기능이 도 9 내지 도 11의 흐름도들을 통해서 논의될 것이다. 앞서 논의된 바와 같이, 개별적인 스위치 및/또는 다른 하드웨어에 의해 실행된 디코더 애플리케이션(440-1)은 이하 논의된 바와 같이 흐름도들에서 단계들을 실행하도록 구성될 수 있다.
도 1 내지 도 8에 대해 앞서 논의된 개념들과 관련하여 약간 오버랩될 것이라는 것에 주목한다. 또한, 흐름도들에서의 단계들은 나타낸 순서에서 항상 실행될 필요는 없다는 것에 주목한다. 단계들은 임의의 적절한 순서로 실행될 수 있다.
도 9는 본원의 실시예에 따른 상이한 품질 레벨들에서 신호를 복원하는 방법을 예시하는 흐름도(900)이다.
단계(910)에서, 디코더(440)는 데이터의 제1 세트를 디코딩한다.
단계(920)에서, 디코더(440)는 제1 세트의 디코딩된 데이터를 활용하여 제1 품질 레벨에 따라서 신호(115)를 복원한다.
단계(930)에서, 디코더(440)는 제2 세트의 데이터를 디코딩한다.
단계(940)에서, 디코더(440)는 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작을 식별한다.
단계(950)에서, 디코더(440)는 제1 품질 레벨로 복원된 신호에 제2 세트의 디코딩된 데이터에서 식별된 업샘플링 동작을 적용하여 제2 품질 레벨로 신호를 복원한다.
도 10 및 도 11은 본원의 실시예에 따른 디코딩을 예시하는 흐름도(1000)(예컨대, 흐름도 1000-1 및 흐름도 1000-2)를 형성하기 위해 결합한다.
단계(1010)에서, 디코더(440)는 제1 세트의 데이터를 디코딩한다.
단계(1020)에서, 디코더(440)는 제1 세트의 디코딩된 데이터를 활용하여 제1 세트 품질 레벨에 따라서 신호(115)를 복원한다.
단계(1030)에서, 디코더(440)는 제2 세트의 데이터를 디코딩한다.
단계(1040)에서, 디코더(440)는 데 2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작 및 스케일 인자를 식별한다.
단계(1050)에서, 디코더(440)는 제1 품질 레벨로 복원된 신호에 제2 세트의 디코딩된 데이터에서 식별된 업샘플링 동작 및 스케일 인자를 적용하여 제2 품질 레벨로 신호(115)를 복원한다.
단계(1060)에서, 디코더(440)는 제2 세트의 디코딩된 데이터로부터 잔차 데이터를 리트리브한다. 잔차 데이터는 업샘플링 동작의 적용에 후속하여 복원된 신호를 제2 품질 레벨에서 어떻게 변형시키는지 나타낸다.
단계(1070)에서, 디코더(440)는 잔차 데이터에 의해 특정된 바와 같이 제2 품질 레벨에서 복원된 신호를 변형시킨다.
단계(1110)에서, 계층에서 제2 품질 레벨보다 높은 다수의 품질 레벨들 각각에 대해, 디코더(440)는 이하의 단계들을 반복한다:
서브-단계(1120)에서, 디코더(440)는 계층에서의 한 단계 더 높은 세트의 데이터를 마지막으로 프로세싱된 품질 레벨보다 높게 디코딩한다.
서브-단계(1130)에서, 디코더(440)는 한 단계 더 높은 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작 및 스케일 인자를 식별한다.
서브-단계(1140)에서, 디코더(440)는 한 단계 더 높은 세트의 디코딩된 데이터에서 식별된 업샘플링 동작 및 스케일 인자를 적용하여 한 단계 더 높은 품질 레벨로 신호(115)를 복원한다.
서브-단계(1150)에서, 디코더(440)는 한 단계 더 높은 세트의 디코딩된 데이터에 의해 특정된 잔차 정보 및/또는 잔차 특성들을 식별한다.
서브-단계(1160)에서, 디코더(440)는 더 높은 품질 레벨에서 복원된 신호를 변형시키기 위해 잔차 정보를 적용한다.
본원의 기법들은 디코더를 이용하여 신호들을 프로세싱 및 복원하는데 사용하기에 적합하다는 것에 다시 주목한다. 그러나, 본원의 실시예들은 이러한 애플리케이션들에 사용되도록 제한되지 않고 본원에 논의된 기법들이 다른 애플리케이션들에도 또한 적합하다는 것에 주목해야 한다.
본 명세서에 설명된 상세한 설명에 기초하여, 청구항의 전반적인 이해를 제공하기 위해 수많은 특정 세부사항들이 설명되었다. 그러나, 당업자에 의해 청구항이 이러한 특정 세부사항들 없이도 실행될 수 있다는 것이 이해될 것이다. 다른 예시들에서, 당업자에 의해 알려질 수 있는 방법들, 장치들, 시스템들 등이 청구항을 모호하게 하지 않기 위해 상세하게 설명되지 않았다. 컴퓨터 메모리와 같은 컴퓨팅 시스템 메모리 내에 저장된 데이터 비트들 또는 이진 디지털 신호들에 대한 동작들의 상징적 표현들 또는 알고리즘들과 관련하여 상세한 설명의 몇몇 부분들이 제시되었다. 이러한 알고리즘적 설명들 또는 표현들은 당업자들에게 그들의 작업의 요지를 전달하기 위해 데이터 프로세싱 기술들에서의 당업자들에 의해 이용된 기법들의 예시들이다. 본 명세서에 설명된 것과 같은, 그리고 일반적인, 알고리즘은 원하는 결과로 유도하는 동작들 또는 유사한 프로세싱의 일관성 있는 시퀀스(self-consistent sequence)일 것으로 간주된다. 이러한 맥락에서, 동작들 또는 프로세싱은 물리량들(physical quantities)의 물리적 조작을 수반한다. 필수적이지 않지만 통상적으로, 이러한 양들은 저장되고, 전달되며, 결합되고, 비교되거나 그렇지 않으면 조작될 수 있는 전기적 또는 자기적 신호들의 형태를 취할 수 있다. 주로 공통적인 용도의 이유로, 비트들, 데이터, 값들, 엘리먼트들, 부호들, 문자들, 용어들, 번호들, 숫자들 등으로서 이와 같은 신호들을 지칭하는 것이 때때로 편리하다는 것이 입증되었다. 그러나, 이러한 용어들 및 유사한 용어들 모두가 적절한 물리량들과 연관될 것이며 단지 편리한 라벨들이라는 것이 이해되어야 한다. 그렇지 않은 것으로 구체적으로 언급되지 않는 한, 이하의 논의로부터 자명한 바와 같이, 본 명세서 전반에 걸쳐서 "프로세싱하는(processing)", "컴퓨팅하는(computing)", "계산하는(calculating)", "결정하는(calculating)" 등과 같은 용어들을 활용하는 논의들은 메모리들, 레지스터들, 또는 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 컴퓨팅 플랫폼의 디스플레이 디바이스들 내의 물리적 전자적 또는 자기적 양들로서 표현된 데이터를 조작하거나 또는 변환하는 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은, 컴퓨팅 플랫폼의 액션들 또는 프로세스들을 지칭하는 것으로 인식된다.
비록 본 발명이 본 발명의 바람직한 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 형태 및 세부사항들에 있어서의 다양한 변화들이 첨부된 청구항들에 의해 정의된 바와 같이 본 출원의 사상 및 범위를 벗어나지 않고 본원에서 이루어질 수 있다는 것이 당업자들에 의해 이해될 것이다. 이와 같은 변화들은 본 출원의 범위에 의해 커버되는 것으로 의도된다. 이와 같이, 본 출원의 실시예들의 전술한 설명은 제한하는 것으로 의도되지 않는다. 오히려, 본 발명에 대한 임의의 제한들이 후술하는 청구항들에서 제시된다.

Claims (25)

  1. 계층(hierarchy)에서 연속적으로 더 높은 품질 레벨들에서 신호를 복원하는 방법으로서,
    제1 품질 레벨로 상기 신호를 복원하기 위한 제1 세트의 데이터를 디코딩하는 단계;
    제1 세트의 디코딩된 데이터를 활용하여 상기 제1 품질 레벨로 상기 신호를 복원하는 단계;
    제2 품질 레벨로 상기 신호를 복원하기 위한 제2 세트의 데이터를 디코딩하는 단계 ― 상기 제2 품질 레벨은 상기 제1 품질 레벨보다 높음 ―;
    제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작이 수행되어야 하는지를 식별하는 단계;
    상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작이 상기 제1 품질 레벨로 복원된 신호의 특정 부분들 상에 수행되어야 하는지를 식별하는 단계;
    업샘플링 동작이 수행되어야 한다는 식별에 응답하여, 상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작의 유형을 결정하는 단계; 및
    업샘플링 동작이 수행되어야 한다는 식별에 응답하여, 상기 제2 세트의 디코딩된 데이터에서 식별된, 상기 결정된 유형의 업샘플링 동작을 상기 제1 품질 레벨로 복원된 신호에 적용하여, 상기 제2 품질 레벨의 신호의 예비 렌디션을 복원하는 단계 ― 이때, 상기 업샘플링 동작이 상기 복원된 신호의 특정 부분들 상에 수행되어야 한다는 식별에 응답하여, 상기 결정된 유형의 업샘플링 동작은 상기 복원된 신호의 상기 특정 부분들에 적용됨 ―
    를 포함하는,
    신호를 복원하는 방법.
  2. 제1항에 있어서,
    상기 제2 품질 레벨의 상기 신호의 상기 예비 렌디션을 조절하여 상기 제2 품질 레벨로 상기 신호의 렌디션을 복원하는 단계;
    제3 세트의 데이터를 디코딩하는 단계;
    제3 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작을 식별하는 단계; 및
    상기 제2 품질 레벨의 복원된 신호에 상기 제3 세트의 디코딩된 데이터에서 식별된 상기 업샘플링 동작을 적용하여 상기 신호를 제3 품질 레벨로 복원하는 단계를 포함하고,
    상기 제3 품질 레벨은 상기 계층에서 상기 제2 품질 레벨보다 높고,
    상기 제3 세트의 데이터에 의해 특정된 상기 업샘플링 동작은, 제3 품질 레벨의 상기 신호에 특정적인 업샘플링 커널 계수들의 세트 및/또는 이미지 프로세싱 동작을 포함하고,
    상기 업샘플링 커널 계수들의 세트 및/또는 이미지 프로세싱 동작은, 상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작에 의해 이용되는 업샘플링 커널 계수들의 세트들 및 이미지 프로세싱 동작들 각각과 상이한,
    신호를 복원하는 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 제1 품질 레벨로 복원된 신호에 적용되는 상기 업샘플링 동작은:
    i) 이중큐빅 필터,
    ii) 디블렌딩 필터, 및
    iii) 언샤프 마스킹(unsharp masking) 동작
    으로 이루어진 그룹으로부터 선택되는 적어도 하나의 동작을 포함하는,
    신호를 복원하는 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 업샘플링 동작은 2차원보다 큰 차원에 따라 상기 신호를 업샘플링하는 것을 포함하는,
    신호를 복원하는 방법.
  7. 제1항에 있어서,
    제3 세트의 데이터를 디코딩하는 단계; 및
    제3 세트의 디코딩된 데이터가 특정 업샘플링 동작을 특정하지 않는 것으로 식별하는 것에 응답하여, 상기 제2 품질 레벨로 복원된 신호에 상기 제2 세트의 디코딩된 데이터에서 식별된 상기 업샘플링 동작을 적용하여, 상기 신호를 제3 품질 레벨로 복원하는 단계 ― 상기 제3 품질 레벨은 상기 계층에서 상기 제2 품질 레벨보다 더 높음 ― 를 더 포함하는,
    신호를 복원하는 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 제2 세트의 디코딩된 데이터를 프로세싱하여, 상기 제1 품질 레벨로 복원된 신호의 특정적으로 식별된 부분의 속성 유형(attribute type)을 식별하는 단계;
    상기 속성 유형을 적어도 하나의 업샘플링 동작의 세트에 매핑하는 단계 ― 상기 적어도 하나의 업샘플링 동작의 세트는 상기 속성 유형에 의해 특정된 상기 신호에서의 데이터의 유형에 대해 구성됨 ―; 및
    상기 신호의 각각의 부분에 대해, 상기 신호의 각 부분의 후속 품질 레벨들을 복원하기 위한 디폴트 업샘플링 동작들로서, 상기 속성 유형에 의해 정의되는 상기 적어도 하나의 업샘플링 동작의 세트를 활용하는 단계 ― 상기 적어도 하나의 업샘플링 동작의 세트는, 상기 제1 품질 레벨보다 더 높은 품질 레벨에 대한 디코딩된 데이터의 각각의 세트가 상기 신호에 대해 또는 상기 신호의 부분들에 대해 상이한 속성 유형들을 사용하도록 특정할 때까지 활용됨 ―
    를 더 포함하는,
    신호를 복원하는 방법.
  11. 제1항에 있어서,
    상기 제1 품질 레벨로 복원된 신호의 상이한 부분들에 상기 제2 세트의 디코딩된 데이터에서 식별된 상이한 업샘플링 동작들을 적용하여 상기 신호를 상기 제2 품질 레벨로 복원하는 단계; 및
    상기 신호의 각각의 부분에 대해, 상기 신호의 각 부분의 후속 품질 레벨들을 복원하기 위한 디폴트 업샘플링 동작들로서, 상기 제2 세트의 디코딩된 데이터에서 식별된 적어도 하나의 업샘플링 동작의 세트를 활용하는 단계 ― 상기 적어도 하나의 업샘플링 동작의 세트는, 상기 제1 품질 레벨보다 더 높은 품질 레벨에 대한 디코딩된 데이터의 각각의 세트가 상기 신호에 대해 또는 상기 신호의 부분들에 대해 상이한 업샘플링 동작들을 사용하도록 특정할 때까지 활용됨 ―
    를 더 포함하는,
    신호를 복원하는 방법.
  12. 제1항에 있어서,
    상기 제2 세트의 디코딩된 데이터를 프로세싱하여 스케일 인자 값(scale factor value)을 식별하는 단계 ― 상기 스케일 인자 값은, 상기 제1 품질 레벨로 복원된 신호를 상기 제2 품질 레벨의 복원된 신호로 업샘플링할 해상도를 나타냄 ―; 및
    스케일 인자에 따라서, 상기 제1 품질 레벨로 복원된 신호를 상기 제2 품질 레벨의 복원된 신호로 업샘플링하는 단계
    를 더 포함하는,
    신호를 복원하는 방법.
  13. 제1항에 있어서,
    상기 계층에서 상이한 품질 레벨들에 대해 디폴트 스케일 인자 값들에 따라서 업샘플링을 수행하는 것 대신에, 상기 계층의 상이한 레벨들에서 디코딩된 데이터의 세트들에 의해 특정된 스케일 인자 값들을 활용하여 상기 신호를 복원하는 단계를 더 포함하는,
    신호를 복원하는 방법.
  14. 제13항에 있어서,
    상기 스케일 인자 값들은 제1 스케일 인자 값 및 제2 스케일 인자 값을 포함하고, 상기 제1 스케일 인자 값은 상기 제1 세트의 디코딩된 데이터에 의해 특정되고, 상기 제2 스케일 인자 값은 상기 제2 세트의 디코딩된 데이터에 의해 특정되며, 상기 제1 스케일 인자 값은 상기 제2 스케일 인자 값과 상이하고,
    상기 방법은:
    상기 제1 스케일 인자 값을 활용하여, 상기 신호를 상기 제1 품질 레벨의 해상도에 의해 그리고 제1 스케일 인자에 의해 나타나는 해상도로 업샘플링 및 복원하는 단계; 및
    상기 제2 스케일 인자 값을 활용하여 상기 신호를 상기 제2 품질 레벨로 복원하는 단계
    를 더 포함하는,
    신호를 복원하는 방법.
  15. 삭제
  16. 제1항에 있어서,
    제2 세트의 디코딩된 데이터에 의해 특정된 잔차 데이터를 식별하는 단계;
    병렬 엔트로피 디코더들의 세트를 활용하여 상기 잔차 데이터를 디코딩하는 단계 ― 디코딩된 잔차 데이터는, 상기 제2 품질 레벨로 복원된 신호의 특정 엘리먼트들을 어떻게 변형시키는지 특정함 ―; 및
    상기 제2 품질 레벨로 복원된 신호의 상기 엘리먼트들을 상기 디코딩된 잔차 데이터에 의해 특정된 방식으로 변형시키는 단계
    를 더 포함하는,
    신호를 복원하는 방법.
  17. 제1항에 있어서,
    상기 제2 세트의 데이터를 디코딩하여, 시뮬레이팅된(simulated) 잔차들의 특성들을 식별하는 단계 ― 상기 특성들은, 상기 신호의 복원된 버전에 부가될 잔차들을 어떻게 시뮬레이팅할지 디코더에 나타내지만, 상기 복원된 신호의 변형되어야 할 특정 엘리먼트들 및 적용되어야 할 특정 변형들을 나타내지는 않음 ―;
    각각의 신호 엘리먼트에 대해, 각 신호 엘리먼트와 공동-위치된(co-located) 상기 신호 엘리먼트들의 제2 품질 레벨보다 더 높은 품질 레벨들에 대한 시뮬레이팅된 잔차들을 특성화하기 위해서도, 상기 제2 세트의 디코딩된 데이터에 의해 특정된 시뮬레이팅된 잔차들 데이터의 특성들을 사용하는 단계 ― 상기 시뮬레이팅된 잔차들 데이터는, 상기 제2 품질 레벨보다 더 높은 품질 레벨에 대한 디코딩된 데이터의 각각의 세트가 상기 신호에 대해 또는 상기 신호의 부분들에 대해 시뮬레이팅된 잔차들의 상이한 특성들을 사용하도록 특정할 때까지 사용됨 ―; 및
    상기 특성들의 세트를 활용하여, 디스플레이되는 품질 레벨로 복원된 신호의 엘리먼트들을 상기 시뮬레이팅된 잔차 데이터에 의해 특정된 방식으로 변형시키는 단계
    를 더 포함하는,
    신호를 복원하는 방법.
  18. 제1항에 있어서,
    상기 제2 세트의 데이터를 디코딩하여, 더 낮은 우선순위 정보를 나타내는 잔차들과 연관된 분광 특성들(spectral characteristics)을 식별하는 단계 ― 상기 분광 특성들은, 상기 복원된 신호에 부가될 상기 잔차들을 어떻게 시뮬레이팅할지 디코더에 나타내지만, 상기 잔차들의 특정 값들 또는 실제 위치를 나타내지는 않음 ―;
    각각의 신호 엘리먼트에 대해, 각 신호 엘리먼트와 공동-위치된 상기 신호의 부분의 상기 제2 품질 레벨보다 더 높은 품질 레벨들에 대한 시뮬레이팅된 잔차들을 특성화하기 위해서도, 상기 제2 세트의 디코딩된 데이터에 의해 특정된 분광 특성들을 활용하는 단계 ― 상기 특정된 분광 특성들은, 상기 제2 품질 레벨보다 더 높은 품질 레벨에 대한 각각의 세트의 디코딩된 데이터가 상기 신호에 대해 또는 상기 신호의 특정 부분들에 대해, 시뮬레이팅된 잔차들의 상이한 분광 특성들을 사용하도록 특정할 때까지 활용됨 ―; 및
    상기 분광 특성들의 세트를 활용하여, 디스플레이되는 품질 레벨로 복원된 신호의 엘리먼트들을 상기 시뮬레이팅된 잔차 데이터에 의해 특정된 방식으로 변형시키는 단계
    를 더 포함하는,
    신호를 복원하는 방법.
  19. 제1항에 있어서,
    상기 계층은, 상기 계층에서 후속하는 품질 레벨에 따라서 상기 신호를 복원하기 위한 추가적인 세트의 데이터를 포함하고 ― 상기 후속하는 품질 레벨은 상기 계층에서 현재 품질 레벨보다 더 높음 ―,
    상기 방법은:
    상기 현재 품질 레벨로 복원된 신호에 따라서 디스플레이 디바이스 상에 이미지 정보를 디스플레이하는 단계를 더 포함하는,
    신호를 복원하는 방법.
  20. 제1항에 있어서,
    상기 제1 품질 레벨보다 높은 다수의 품질 레벨들 각각에 대해,
    상기 계층에서 마지막 프로세싱된 품질 레벨보다 한 단계 더 높은 세트의 데이터를 디코딩하는 단계;
    상기 한 단계 더 높은 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작을 식별하는 단계;
    상기 한 단계 더 높은 세트의 디코딩된 데이터에서 식별된 상기 업샘플링 동작을 적용하여, 상기 신호를 한 단계 더 높은 품질 레벨로 복원하는 단계;
    상기 한 단계 더 높은 세트의 디코딩된 데이터에 의해 특정된 잔차 정보 및/또는 잔차 특성들을 식별하는 단계; 및
    상기 잔차 정보 및/또는 상기 잔차 특성들을 적용하여, 상기 더 높은 품질 레벨로 복원된 신호를 변형시키는 단계
    를 반복하는 단계를 더 포함하는,
    신호를 복원하는 방법.
  21. 제1항에 있어서,
    디코더는 상기 신호의 상이한 컬러 평면들에 대한 별도의 신호 계층들을 수신하고 ― 상기 별도의 신호 계층들은 독립적인 스케일 인자들, 동작들 및 가장 높은 품질 레벨들을 특징으로 가짐 ―;
    주어진 컬러 평면의 한 단계 더 높은 품질 레벨에서의 렌디션을 생성하기 위해 주어진 컬러 계층에 적용되는 업샘플링 동작은, 동일한 신호의 상이한 컬러 평면 계층의 엘리먼트 값들에 적어도 부분적으로 기초하는,
    신호를 복원하는 방법.
  22. 컴퓨터 시스템으로서,
    프로세서;
    상기 프로세서에 의해 실행되는 애플리케이션과 연관된 명령들을 저장하는 메모리 유닛; 및
    상기 프로세서와 상기 메모리 유닛을 연결하여, 상기 컴퓨터 시스템으로 하여금 상기 애플리케이션을 실행하여,
    제1 품질 레벨로 신호를 복원하기 위한 제1 세트의 데이터를 디코딩하는 동작;
    제1 세트의 디코딩된 데이터를 활용하여 상기 제1 품질 레벨로 상기 신호를 복원하는 동작;
    제2 품질 레벨로 상기 신호를 복원하기 위한 제2 세트의 데이터를 디코딩하는 동작 ― 상기 제2 품질 레벨은 상기 제1 품질 레벨보다 높음 ―;
    제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작이 수행되어야 하는지를 식별하는 동작;
    상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작이 상기 제1 품질 레벨로 복원된 신호의 특정 부분들 상에 수행되어야 하는지를 식별하는 동작;
    업샘플링 동작이 수행되어야 한다는 식별에 응답하여, 상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작의 유형을 결정하는 동작; 및
    업샘플링 동작이 수행되어야 한다는 식별에 응답하여, 상기 제2 세트의 디코딩된 데이터에서 식별된, 상기 결정된 유형의 업샘플링 동작을 상기 제1 품질 레벨로 복원된 신호에 적용하여, 상기 제2 품질 레벨의 신호를 복원하는 동작 ― 이때, 상기 업샘플링 동작이 상기 복원된 신호의 특정 부분들 상에 수행되어야 한다는 식별에 응답하여, 상기 결정된 유형의 업샘플링 동작은 상기 복원된 신호의 상기 특정 부분들에 적용됨 ―
    을 수행할 수 있게 하는 상호접속부
    를 포함하는,
    컴퓨터 시스템.
  23. 명령들이 저장된 컴퓨터-판독가능 하드웨어 스토리지로서,
    상기 명령들은, 프로세싱 디바이스에 의해 수행될 때, 상기 프로세싱 디바이스로 하여금:
    제1 품질 레벨로 신호를 복원하기 위한 제1 세트의 데이터를 디코딩하는 동작;
    제1 세트의 디코딩된 데이터를 활용하여 상기 제1 품질 레벨로 상기 신호를 복원하는 동작;
    제2 품질 레벨로 상기 신호를 복원하기 위한 제2 세트의 데이터를 디코딩하는 동작 ― 상기 제2 품질 레벨은 상기 제1 품질 레벨보다 높음 ―;
    제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작이 수행되어야 하는지를 식별하는 동작;
    상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작이 상기 제1 품질 레벨로 복원된 신호의 특정 부분들 상에 수행되어야 하는지를 식별하는 동작;
    업샘플링 동작이 수행되어야 한다는 식별에 응답하여, 상기 제2 세트의 디코딩된 데이터에 의해 특정된 업샘플링 동작의 유형을 결정하는 동작; 및
    업샘플링 동작이 수행되어야 한다는 식별에 응답하여, 상기 제2 세트의 디코딩된 데이터에서 식별된, 상기 결정된 유형의 업샘플링 동작을 상기 제1 품질 레벨로 복원된 신호에 적용하여, 상기 제2 품질 레벨의 신호를 복원하는 동작 ― 이때, 상기 업샘플링 동작이 상기 복원된 신호의 특정 부분들 상에 수행되어야 한다는 식별에 응답하여, 상기 결정된 유형의 업샘플링 동작은 상기 복원된 신호의 상기 특정 부분들에 적용됨 ―
    을 수행하게 하는,
    컴퓨터-판독가능 하드웨어 스토리지.
  24. 삭제
  25. 삭제
KR1020147004579A 2011-07-21 2012-07-20 계층형 신호 디코딩 및 신호 복원 KR102165147B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/188,201 2011-07-21
US13/188,201 US8948248B2 (en) 2011-07-21 2011-07-21 Tiered signal decoding and signal reconstruction
PCT/IB2012/053722 WO2013011492A2 (en) 2011-07-21 2012-07-20 Tiered signal decoding and signal reconstruction

Publications (2)

Publication Number Publication Date
KR20140051344A KR20140051344A (ko) 2014-04-30
KR102165147B1 true KR102165147B1 (ko) 2020-10-14

Family

ID=46801597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004579A KR102165147B1 (ko) 2011-07-21 2012-07-20 계층형 신호 디코딩 및 신호 복원

Country Status (13)

Country Link
US (1) US8948248B2 (ko)
EP (1) EP2735157A2 (ko)
JP (1) JP6492659B2 (ko)
KR (1) KR102165147B1 (ko)
CN (2) CN103875245A (ko)
AU (1) AU2012285356B2 (ko)
BR (1) BR112014001210B1 (ko)
CA (1) CA2842437C (ko)
EA (1) EA032859B1 (ko)
IL (1) IL230270B (ko)
MX (1) MX2014000692A (ko)
WO (1) WO2013011492A2 (ko)
ZA (1) ZA201400470B (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104303504B (zh) 2012-01-18 2019-04-16 卢卡·罗萨托 稳定信息和瞬时/随机信息的不同编码和解码
JP6033725B2 (ja) * 2013-03-28 2016-11-30 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
BR112015026244B1 (pt) * 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido
US9984440B2 (en) * 2013-06-18 2018-05-29 Adobe Systems Incorporated Iterative patch-based image upscaling
US10554980B2 (en) * 2015-02-23 2020-02-04 Lg Electronics Inc. Method for processing image on basis of intra prediction mode and device therefor
CN107750456B (zh) 2015-04-13 2022-02-11 V-诺瓦国际有限公司 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码
CN105259410B (zh) * 2015-10-26 2017-12-05 天津大学 一种强噪声干扰下的欠采样波形的频率估计方法及其装置
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
GB2552353B (en) * 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
TWI650994B (zh) * 2016-09-02 2019-02-11 聯發科技股份有限公司 提升品質遞送及合成處理
KR102385188B1 (ko) * 2017-09-29 2022-04-12 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
EP3489901A1 (en) * 2017-11-24 2019-05-29 V-Nova International Limited Signal encoding
EP3496404A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Image processing
GB2573486B (en) * 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
EP3496403A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Hierarchical data structure
EP3721631A1 (en) 2017-12-06 2020-10-14 V-Nova International Limited Method and apparatus for decoding a received set of encoded data
US10972754B2 (en) * 2018-04-18 2021-04-06 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method of generating power of 2 transform block sizes
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
AU2019315029A1 (en) * 2018-08-03 2021-03-11 V-Nova International Limited Transformations for signal enhancement coding
GB2616980B (en) 2018-10-09 2023-12-13 V Nova Int Ltd Signal element coding format compatibility within a hierarchical coding scheme using multiple resolutions
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817780D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
GB2620500B (en) 2019-03-20 2024-05-15 V Nova Int Ltd Low complexity enhancement video coding
WO2021005349A1 (en) 2019-07-05 2021-01-14 V-Nova International Ltd Quantization of residuals in video coding
WO2021064414A1 (en) 2019-10-02 2021-04-08 V-Nova International Limited Use of transformed coefficients to provide embedded signalling for watermarking
KR102417150B1 (ko) * 2019-11-19 2022-07-04 연세대학교 산학협력단 사용자 동작 인식 방법 및 이를 위한 시스템
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
GB2595696B (en) * 2020-06-04 2022-12-28 Envisics Ltd Forming a hologram of a target image for projection using data streaming

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618443B1 (en) 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
US6469710B1 (en) * 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
WO2002045003A1 (en) * 2000-12-01 2002-06-06 Imax Corporation Techniques and systems for developing high-resolution imagery
US6816616B2 (en) 2001-05-31 2004-11-09 Webex Communications, Inc. Header compression for image data stream
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
EP1604528A2 (en) * 2002-09-17 2005-12-14 Ceperkovic, Vladimir Fast codec with high compression ratio and minimum required resources
US7916952B2 (en) 2004-09-14 2011-03-29 Gary Demos High quality wide-range multi-layer image compression coding system
JP2008515328A (ja) 2004-10-18 2008-05-08 サムスン エレクトロニクス カンパニー リミテッド 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
KR100679022B1 (ko) 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
US7701509B2 (en) * 2006-04-25 2010-04-20 Nokia Corporation Motion compensated video spatial up-conversion
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CN101888559B (zh) 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8509434B2 (en) * 2008-06-20 2013-08-13 Korean Broadcasting System Method and apparatus for protecting scalable video coding contents
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. Segall, et al. Spatial Scalability Within the H.264/AVC Scalable Video Coding Extension. IEEE Trans. on CSVT. Sep. 2007, Vol.17, No.9, pp.1121-1135*
H. Mansour, et al. Rate and Distortion Modeling of CGS Coded Scalable Video Content. IEEE Trans. on Multimedia. Apr. 2011, Vol.13, No.2, pp.165-180*
N. Ammar, et al. Switched SVC Up-sampling Filter. JVT of ISO/IEC MPEG & ITU-T VCEG. JVT-R075. Jan. 10, 2006, pp.1-3*

Also Published As

Publication number Publication date
ZA201400470B (en) 2015-09-30
EA201490312A1 (ru) 2014-11-28
IL230270B (en) 2018-06-28
CN108712646B (zh) 2022-12-06
JP6492659B2 (ja) 2019-04-03
MX2014000692A (es) 2014-06-23
JP2014524213A (ja) 2014-09-18
KR20140051344A (ko) 2014-04-30
CA2842437A1 (en) 2013-01-24
WO2013011492A3 (en) 2013-05-30
BR112014001210A2 (pt) 2017-02-21
AU2012285356B2 (en) 2017-04-20
WO2013011492A2 (en) 2013-01-24
CA2842437C (en) 2020-02-18
BR112014001210B1 (pt) 2022-07-12
AU2012285356A2 (en) 2014-03-13
EP2735157A2 (en) 2014-05-28
US20130294495A1 (en) 2013-11-07
US8948248B2 (en) 2015-02-03
AU2012285356A1 (en) 2014-02-20
EA032859B1 (ru) 2019-07-31
CN108712646A (zh) 2018-10-26
CN103875245A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
KR102165147B1 (ko) 계층형 신호 디코딩 및 신호 복원
KR102165155B1 (ko) 공간적으로 확장 가능한 비디오 코딩을 위한 적응적 보간
US20220385911A1 (en) Use of embedded signalling for backward-compatible scaling improvements and super-resolution signalling
JP2023513564A (ja) 点群圧縮のためのティア化階層コード化の使用
CA2842548C (en) Inheritance in a tiered signal quality hierarchy
KR102165078B1 (ko) 공간적으로 스케일러블한 비디오 코딩을 위한 적응적 업샘플링
EP3489901A1 (en) Signal encoding
KR20230107627A (ko) 후처리 제어를 이용한 비디오 디코딩
US20240040160A1 (en) Video encoding using pre-processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant