KR20190084246A - 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체 - Google Patents

데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체 Download PDF

Info

Publication number
KR20190084246A
KR20190084246A KR1020197009913A KR20197009913A KR20190084246A KR 20190084246 A KR20190084246 A KR 20190084246A KR 1020197009913 A KR1020197009913 A KR 1020197009913A KR 20197009913 A KR20197009913 A KR 20197009913A KR 20190084246 A KR20190084246 A KR 20190084246A
Authority
KR
South Korea
Prior art keywords
correlation
elements
residual
signal
representation
Prior art date
Application number
KR1020197009913A
Other languages
English (en)
Other versions
KR102463623B1 (ko
Inventor
이반 담자노빅
Original Assignee
브이-노바 인터내셔널 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이-노바 인터내셔널 리미티드 filed Critical 브이-노바 인터내셔널 리미티드
Publication of KR20190084246A publication Critical patent/KR20190084246A/ko
Application granted granted Critical
Publication of KR102463623B1 publication Critical patent/KR102463623B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

신호(202)의 표현의 제1 및 제2 부분을 각각 재구성하는 데 사용가능한 제1 및 제2 복수의 잔차 요소(208)가 획득된다. 적어도 하나의 상관 요소(212)를 생성하기 위해 변환 동작이 수행된다. 변환 동작은 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반한다. 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존한다. 변환 동작은 적어도 하나의 상관 요소가 인코딩되기 전에 수행된다.

Description

데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체
본 발명은 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체에 관한 것이다.
신호들의 압축 및 압축해제는 많은 공지된 시스템들에서 중요한 고려사항이다.
많은 유형의 신호, 예를 들어 비디오, 오디오 또는 체적(volumetric) 신호들은 예를 들어 데이터 통신 네트워크를 통한 전송을 위해 압축되고 인코딩될 수 있다. 다른 신호들은 압축된 형태로, 예를 들어 디지털 다기능 디스크(Digital Versatile Disc)(DVD)와 같은 저장 매체 상에 저장될 수 있다. 그러한 신호가 디코딩될 때, 신호의 품질 레벨을 증가시키고/거나 원본 신호에 포함된 정보를 가능한 한 많이 복구하는 것이 요구될 수 있다.
일부 공지된 시스템들은 스케일러블 인코딩 기술들을 활용한다. 스케일러블 인코딩은 디코더의 능력들 및 이용가능한 대역폭에 의존하여, 상이한 품질 레벨들에서의 신호의 재구성을 허용하기 위한 정보와 함께 신호를 인코딩하는 것을 수반한다. 그러나, 특히 더 높은 품질의 고화질 비디오의 사용이 널리 보급됨에 따라, 비교적 많은 양의 정보가 저장 및/또는 전송되어야 할 수 있다.
본 발명의 제1 양태에 따르면, 장치로서,
비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능한 제1 복수의 잔차 요소를 획득하고 - 제2 표현의 제1 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능함 -;
신호의 제1 표현의 다른 제2 부분을, 신호의 제2 표현의 다른 제2 부분을 사용하여 재구성하는 데 사용가능한 제2 복수의 잔차 요소를 획득하고 - 제2 표현의 제2 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능함 -; 및
적어도 하나의 상관 요소를 생성하기 위해, 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반하는 적어도 하나의 변환 동작을 수행하도록 - 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존함 -
구성되고,
적어도 하나의 상관 요소가 인코딩되기 전에 적어도 하나의 변환 동작을 수행하도록 구성되는 장치가 제공된다.
본 발명의 제2 양태에 따르면, 장치로서,
제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 생성하기 위해 적어도 하나의 상관 요소를 수반하는 적어도 하나의 변환 동작을 수행하고 - 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존하고, 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능하고, 제2 복수의 잔차 요소는 신호의 제1 표현의 다른 제2 부분을, 신호의 제2 표현의 다른 제2 부분을 사용하여 재구성하는 데 사용가능함 -;
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 제2 표현의 제1 부분을 도출하고;
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 제2 표현의 제2 부분을 도출하고;
출력 데이터를 생성하기 위해, 적어도 제1 복수의 잔차 요소, 제2 복수의 잔차 요소, 제2 표현의 제1 부분, 및 제2 표현의 제2 부분을 사용하도록
구성되고,
적어도 하나의 상관 요소가 디코딩된 후에 적어도 하나의 변환 동작을 수행하도록 구성되는 장치가 제공된다.
본 발명의 제3 양태에 따르면, 방법으로서,
비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능한 제1 복수의 잔차 요소를 획득하는 단계 - 제2 표현의 제1 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능함 -;
신호의 제1 표현의 다른 제2 부분을, 신호의 제2 표현의 다른 제2 부분을 사용하여 재구성하는 데 사용가능한 제2 복수의 잔차 요소를 획득하는 단계 - 제2 표현의 제2 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능함 -; 및
적어도 하나의 상관 요소를 생성하기 위해, 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반하는 적어도 하나의 변환 동작을 수행하는 단계 - 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존함 -
를 포함하고,
적어도 하나의 변환 동작은 적어도 하나의 상관 요소가 인코딩되기 전에 수행되는 방법이 제공된다.
본 발명의 제4 양태에 따르면, 방법으로서,
제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 생성하기 위해 적어도 하나의 상관 요소를 수반하는 적어도 하나의 변환 동작을 수행하는 단계 - 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존하고, 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능하고, 제2 복수의 잔차 요소는 신호의 제1 표현의 다른 제2 부분을, 신호의 제2 표현의 다른 제2 부분을 사용하여 재구성하는 데 사용가능함 -;
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 제2 표현의 제1 부분을 도출하는 단계;
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 제2 표현의 제2 부분을 도출하는 단계; 및
출력 데이터를 생성하기 위해, 적어도 제1 복수의 잔차 요소, 제2 복수의 잔차 요소, 제2 표현의 제1 부분, 및 제2 표현의 제2 부분을 사용하는 단계
를 포함하고,
적어도 하나의 변환 동작은 적어도 하나의 상관 요소가 디코딩된 후에 수행되는 방법이 제공된다.
본 발명의 제5 양태에 따르면, 컴퓨터 프로그램으로서,
실행 시에, 장치가
비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능한 제1 복수의 잔차 요소를 획득하는 단계 - 제2 표현의 제1 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능함 -;
신호의 제1 표현의 다른 제2 부분을, 신호의 제2 표현의 다른 제2 부분을 사용하여 재구성하는 데 사용가능한 제2 복수의 잔차 요소를 획득하는 단계 - 제2 표현의 제2 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능함 -; 및
적어도 하나의 상관 요소를 생성하기 위해, 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반하는 적어도 하나의 변환 동작을 수행하는 단계 - 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존함 -
를 포함하고,
적어도 하나의 변환 동작은 적어도 하나의 상관 요소가 인코딩되기 전에 수행되는 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 제공된다.
본 발명의 제6 양태에 따르면, 컴퓨터 프로그램으로서,
실행 시에, 장치가
제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 생성하기 위해 적어도 하나의 상관 요소를 수반하는 적어도 하나의 변환 동작을 수행하는 단계 - 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존하고, 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능하고, 제2 복수의 잔차 요소는 신호의 제1 표현의 다른 제2 부분을, 신호의 제2 표현의 다른 제2 부분을 사용하여 재구성하는 데 사용가능함 -;
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 제2 표현의 제1 부분을 도출하는 단계;
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 제2 표현의 제2 부분을 도출하는 단계; 및
출력 데이터를 생성하기 위해, 적어도 제1 복수의 잔차 요소, 제2 복수의 잔차 요소, 제2 표현의 제1 부분, 및 제2 표현의 제2 부분을 사용하는 단계
를 포함하고,
적어도 하나의 변환 동작은 적어도 하나의 상관 요소가 디코딩된 후에 수행되는 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 제공된다.
도 1은 본 발명의 실시예에 따른 신호 처리 시스템의 예의 개략적인 블록도를 보여준다.
도 2는 본 발명의 실시예에 따른 신호 처리 기술의 예의 개략도를 보여준다.
도 3은 본 발명의 실시예에 따른 신호 처리 기술의 다른 예의 개략도를 보여준다.
도 4는 본 발명의 실시예에 따른 장치의 예의 개략적인 블록도를 보여준다.
도 1을 참조하면, 신호 처리 시스템(100)의 예가 도시되어 있다. 신호 처리 시스템(100)은 신호들을 처리하기 위해 사용된다. 신호의 유형들의 예들은 비디오 신호들, 이미지 신호들, 오디오 신호들, 의학, 과학 또는 홀로그래픽 이미징에서 사용되는 것과 같은 체적 신호들(volumetric signals), 또는 다른 다차원 신호들을 포함하지만, 이에 한정되지 않는다.
신호 처리 시스템(100)은 제1 장치(102) 및 제2 장치(104)를 포함한다. 제1 장치(102) 및 제2 장치(104)는 클라이언트-서버 관계를 가질 수 있으며, 제1 장치(102)는 서버 디바이스의 기능들을 수행하고, 제2 장치(104)는 클라이언트 디바이스의 기능들을 수행한다. 신호 처리 시스템(100)은 적어도 하나의 추가 장치를 포함할 수 있다. 제1 장치(102) 및/또는 제2 장치(104)는 하나 이상의 컴포넌트를 포함할 수 있다. 컴포넌트들은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 하나 이상의 컴포넌트는 신호 처리 시스템(100) 내에서 함께 위치되거나 서로 떨어져 위치될 수 있다. 장치의 유형들의 예들은 컴퓨터화된 디바이스들, 라우터들, 워크 스테이션들, 핸드헬드형 또는 랩톱 컴퓨터들, 태블릿들, 모바일 디바이스들, 게임 콘솔들, 스마트 TV들, 셋톱 박스들 등을 포함하지만, 그에 한정되지 않는다.
제1 장치(102)는 데이터 통신 네트워크(106)를 통해 제2 장치(104)에 통신가능하게 연결된다. 데이터 통신 네트워크(106)의 예들은 인터넷, 근거리 네트워크(LAN), 및 광역 네트워크(WAN)를 포함하지만, 그에 한정되지 않는다. 제1 및/또는 제2 장치(102, 104)는 데이터 통신 네트워크(106)에 대한 유선 및/또는 무선 접속을 가질 수 있다.
제1 장치(102)는 인코더 디바이스(108)를 포함한다. 인코더 디바이스(108)는 신호 데이터를 인코딩하도록 구성된다. 인코더 디바이스(108)는 신호 데이터를 인코딩하는 것에 더하여 하나 이상의 추가 기능을 수행할 수 있다. 인코더 디바이스(108)는 여러 상이한 방식들로 구현될 수 있다. 예를 들어, 인코더 디바이스(108)는 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
제2 장치(104)는 디코더 디바이스(110)를 포함한다. 디코더 디바이스(110)는 신호 데이터를 디코딩하도록 구성된다. 디코더 디바이스(110)는 신호 데이터를 디코딩하는 것에 더하여 하나 이상의 추가 기능을 수행할 수 있다. 디코더 디바이스(110)는 여러 상이한 방식들로 구현될 수 있다. 예를 들어, 디코더 디바이스(110)는 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
인코더 디바이스(108)는 신호 데이터를 인코딩하고, 인코딩된 신호 데이터를 데이터 통신 네트워크(106)를 통해 디코더 디바이스(110)에 전송한다. 디코더 디바이스(110)는 수신된 인코딩된 신호 데이터를 디코딩하고, 디코딩된 신호 데이터를 생성한다. 디코더 디바이스(110)는 디코딩된 신호 데이터, 또는 디코딩된 신호 데이터를 사용하여 도출된 데이터를 출력할 수 있다. 예를 들어, 디코더 디바이스(110)는 제2 장치(104)에 연관된 하나 이상의 디스플레이 디바이스 상에 디스플레이하기 위해 그러한 데이터를 출력할 수 있다.
본 명세서에 설명된 일부 예들에서, 인코더 디바이스(108)는 주어진 품질 레벨에서의 신호의 표현, 및 디코더 디바이스(110)가 하나 이상의 더 높은 품질 레벨에서 신호의 표현을 재구성하기 위해 사용할 수 있는 정보를 디코더 디바이스(110)에 전송한다.
일부 공지된 기술들과 비교하여, 본 명세서에 설명된 예들은 그러한 재구성을 위해 사용될 비교적 적은 양의 정보를 전송하는 것을 수반한다. 이는 데이터 통신 네트워크(106)를 통해 전송되는 데이터의 양을 감소시킨다. 절약은, 공지된 시스템들에서 전송되는 정보의 양이 특히 높을 수 있는 고품질 비디오 데이터에 신호 데이터가 대응하는 경우에 특히 관련이 있을 수 있다.
본 명세서에 설명된 예들은 디코더 디바이스(110)가 하나 이상의 더 높은 품질 레벨에서의 신호의 표현을 재구성하기 위해 사용하는 정보의 더 선택적인 인코딩을 용이하게 한다. 구체적으로, 본 명세서에 설명된 예들은 그러한 정보를 개별 데이터 요소들의 인코딩에 대한 세분화된 제어(fine-grained control)를 허용하는 형식으로 변환한다. 예를 들어, 인코딩이 인코딩되는 데이터 요소들의 상대적 중요도를 고려하는 경우에서, 이것은 더 효율적이고 효과적인 인코딩을 용이하게 한다.
도 2를 참조하면, 신호 처리 기술(200)의 예가 개략적으로 도시되어 있다. 신호 처리 기술(200)은 제1 장치(102)에 의해 수행될 수 있다.
제1 장치(102)는 입력 데이터(202)를 획득한다. 예를 들어, 제1 장치(102)는 하나 이상의 다른 엔티티로부터 입력 데이터(202)를 수신할 수 있다.
입력 데이터(202)는 비교적 높은 품질 레벨에서의 신호의 표현을 포함한다. 비교적 높은 품질 레벨은 다수의 상이한 품질 레벨을 갖는 계층 구조(tiered hierarchy) 내의 하나 이상의 다른 품질 레벨에 비해 높은 것이다. 비교적 높은 품질 레벨은 계층 구조 내의 가장 높은 품질 레벨일 수 있거나 중간 품질 레벨일 수 있다.
이러한 예에서, 입력 데이터(202)는 신호 요소들의 4개의 행 및 4개의 열을 포함하는 신호 요소들의 4×4 어레이로 배열된다. 입력 데이터(202)는 예를 들어 이미지를 포함할 수 있고, 신호 요소들 각각은 이미지에 포함된 픽셀을 표현할 수 있다.
이러한 예에서, 입력 데이터(202)는 신호 요소들의 4개의 세트를 포함한다. 신호 요소 Iij는 입력 데이터(202) 내의 신호 요소들의 i번째 세트 내의 j번째 신호 요소에 대응한다. 예를 들어, 입력 데이터(202)가 이미지 또는 비디오 데이터를 포함하는 경우, 신호 요소들의 상이한 세트들은 이미지의 일부 또는 전부의 상이한 영역들에 대응할 수 있다.
입력 데이터(202)는 입력 데이터(202)에 기초하여 데이터(204)를 생성하기 위해 처리된다. 이러한 예에서, 데이터(204)는 입력 데이터(202)를 다운샘플링함으로써 생성되며, 따라서 "다운샘플링된 데이터"로 지칭된다.
이러한 예에서, 다운샘플링된 데이터(204)는 4개의 신호 요소를 포함하는 2×2 어레이로서 배열된다. 다운샘플링된 신호 요소 Di는 입력 데이터(202) 내의 신호 요소들의 i번째 세트의 다운샘플링된 버전에 대응한다.
다운샘플링된 데이터(204)는 비교적 낮은 품질 레벨에서의 신호의 표현이다. 비교적 낮은 품질 레벨은 다수의 상이한 품질 레벨을 갖는 계층 구조 내의 하나 이상의 다른 품질 레벨에 비해 낮은 것이다. 비교적 낮은 품질 레벨은 계층 구조 내의 가장 낮은 품질 레벨일 수 있거나 중간 품질 레벨일 수 있다.
다운샘플링된 데이터(204)는 데이터(206)를 생성하도록 처리된다. 이러한 예에서, 데이터(206)는 다운샘플링된 데이터(204)를 업샘플링함으로써 획득되며, 따라서 "업샘플링된 데이터"로 지칭된다.
이러한 예에서, 업샘플링된 데이터(206)는 신호 요소들의 4개의 행 및 4개의 열을 포함하는 신호 요소들의 4×4 어레이로서 배열된다. 업샘플링된 데이터(206)는 신호 요소들의 4개의 세트를 포함한다. 이러한 예에서, 신호 요소들의 세트들 각각은 신호 요소들의 2×2 어레이이다. 신호 요소 Uij는 업샘플링된 데이터(206) 내의 신호 요소들의 i번째 세트 내의 j번째 신호 요소에 대응한다. 업샘플링된 데이터(206)는 비교적 낮은 품질 레벨에서의 신호의 표현, 즉 다운샘플링된 데이터(204)에 기초한다.
입력 데이터(202) 및 업샘플링된 데이터(206)는 잔차 요소들의 세트(208)를 획득하기 위해 사용된다. 잔차 요소들의 세트(208)는 신호 요소들의 4개의 행 및 4개의 열을 포함하는 신호 요소들의 4×4 어레이로서 배열된다. 이러한 예에서, 잔차 요소들의 세트(208)는 잔차 요소들의 4개의 그룹을 포함한다. 잔차 요소들의 그룹들 각각은 복수의 잔차 요소를 포함한다. 이러한 예에서, 잔차 요소들의 각각의 그룹들은 잔차 요소들의 2×2 어레이이다. 잔차 요소 Rij는 잔차 요소들의 세트(208) 내의 잔차 요소들의 i번째 그룹 내의 j번째 잔차 요소에 대응한다.
이러한 예에서, 잔차 요소들의 세트(208) 내의 주어진 잔차 요소는 업샘플링된 데이터(206) 내의 신호 요소의 값을 입력 데이터(202) 내의 대응하는 신호 요소의 값과 비교함으로써 획득된다.
이와 같이, 제1 장치(102)는 제1 복수의 잔차 요소, 예를 들어 잔차 요소들 R11, R12, R13, R14를 획득한다. 이러한 예에서, 제1 복수의 잔차 요소를 획득하는 것은, 제1 장치(102)가 예를 들어 입력 데이터(202) 및 업샘플링된 데이터(206)를 사용하여 제1 복수의 잔차 요소를 생성 또는 도출하는 것을 수반한다. 다른 예들에서, 제1 복수의 잔차 요소를 획득하는 것은 제1 장치(102)가 제1 복수의 잔차 요소, 또는 제1 복수의 잔차 요소를 도출하는 데 사용가능한 데이터를 수신하는 것을 수반할 수 있다.
제1 장치(102)는 또한 제2 복수의 잔차 요소, 예를 들어 잔차 요소들 R21, R22, R23, R24를 획득한다. 이러한 예에서, 제2 복수의 잔차 요소를 획득하는 것은, 제1 장치(102)가 예를 들어 입력 데이터(202) 및 업샘플링된 데이터(206)를 사용하여 제2 복수의 잔차 요소를 생성 또는 도출하는 것을 수반한다. 다른 예들에서, 제2 복수의 잔차 요소를 획득하는 것은, 제1 장치(102)가 제2 복수의 잔차 요소, 또는 제2 복수의 잔차 요소를 도출하는 데 사용가능한 데이터를 수신하는 것을 수반할 수 있다.
잔차 요소들의 세트(208)는 입력 데이터(202)를 재구성하기 위해 업샘플링된 데이터(206)와 함께 사용가능하다. 예를 들어, 잔차 요소들의 세트(208)를 결정하기 위해 사용되는 입력 데이터(202)와 업샘플링된 데이터(206) 사이의 비교는, 업샘플링된 데이터(206)를 잔차 요소들의 세트(208)와 비교함으로써 입력 데이터(202)가 획득될 수 있도록 반전될 수 있다.
이와 같이, 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서 신호의 제2 표현의 제1 부분을 사용하여 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을 재구성하는 데 사용가능하다. 예를 들어, 잔차 요소들 R11, R12, R13, R14는 신호 요소들 U11, U12, U13, U14로 이루어진 업샘플링된 데이터(206)의 부분을 사용하여 신호 요소들 I11, I12, I13, I14로 이루어진 입력 데이터(202)의 부분을 재구성하는 데 사용가능하다. 입력 데이터(202) 및 업샘플링된 데이터(206) 둘 다는 비교적 높은 품질 레벨에 있다. 재구성은 제1 장치(102), 제2 장치(104) 또는 다른 곳에서 발생할 수 있다. 제2 표현의 제1 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능하다. 예를 들어, 신호 요소들 U11, U12, U13, U14로 이루어진 업샘플링된 데이터(206)의 부분은 다운샘플링된 데이터(204) 내의 신호 요소 D1로부터 도출가능하다. 다운샘플링된 데이터(204)는 비교적 낮은 품질 레벨에서의 신호의 표현이다. 이러한 예에서, 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트는 신호 요소 D1로만 구성될 것이다.
제2 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제2 표현의 상이한 제2 부분을 사용하여 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제2 부분을 재구성하는 데 사용가능하다. 예를 들어, 잔차 요소들 R21, R22, R23, R24는 신호 요소들 U21, U22, U23, U24로 이루어진 업샘플링된 데이터(206)의 부분을 사용하여 신호 요소들 I21, I22, I23, I24로 이루어진 입력 데이터(202)의 부분을 재구성하는 데 사용가능하다. 재구성은 제1 장치(102), 제2 장치(104), 또는 다른 곳에서 발생할 수 있다. 제2 표현의 제2 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능하다. 예를 들어, 신호 요소들 U21, U22, U23, U24로 이루어진 업샘플링된 데이터(206)의 부분은 다운샘플링된 데이터(204)의 신호 요소 D2로부터 도출가능하다. 다운샘플링된 데이터(204)는 비교적 낮은 품질 레벨에서의 신호의 표현이다. 이러한 예에서, 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제2 세트는 신호 요소 D2로만 이루어질 것이다.
비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 및 제2 부분은, 제1 및 제2 부분 중 적어도 하나가 제1 및 제2 부분 중 다른 하나에 있지 않은 적어도 하나의 신호 요소를 포함한다는 점에서 상이할 수 있다. 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 및 제2 부분은 제1 및 제2 부분이 임의의 신호 요소들을 공통으로 포함하지 않는다는 점에서 상이할 수 있다.
비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 및 제2 세트는, 제1 및 제2 세트 중 적어도 하나가 제1 및 제2 세트 중 다른 하나에 있지 않은 적어도 하나의 신호 요소를 포함한다는 점에서 상이할 수 있다. 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 및 제2 세트는 제1 및 제2 세트가 임의의 신호 요소들을 공통으로 포함하지 않는다는 점에서 상이할 수 있다.
잔차 요소들의 세트(208)는 제2 장치(104)가 입력 데이터(202)를 재구성하는 것을 허용하기 위해 제2 장치(104)에 전송될 수 있다. 잔차 요소들의 세트(208)를 제2 장치(104)에 전송하는 데에 수반되는 데이터의 양을 감소시키기 위해, 잔차 요소들의 세트(208)는 전송 전에 인코딩될 수 있다.
본 명세서에 설명된 예들에서, 상관 요소들의 세트(210)는 잔차 요소들의 세트(208) 내의 적어도 일부 잔차 요소들을 수반하는 적어도 하나의 변환 동작을 수행함으로써 도출된다. 독자는 WO2013/171173으로 공개된 국제 특허 출원 PCT/EP2013/059847을 참조하면 된다. PCT/EP2013/059847은 잔차 데이터를 계층 구조로 분해하는 것을 기술한다. PCT/EP2013/059847의 전체 내용은 본 명세서에 참조로 포함된다.
이와 같이, 제1 장치(102)는 적어도 하나의 변환 동작을 수행한다. 예를 들어, 다수의 변환 동작이 직렬 및/또는 병렬로 수행될 수 있다.
적어도 하나의 변환 동작은 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 적어도 하나의 잔차 요소, 및 제2 복수의 잔차 요소 R21, R22, R23, R24 내의 적어도 하나의 잔차 요소를 수반한다. 적어도 하나의 변환 동작은 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 다수의 잔차 요소, 및/또는 제2 복수의 잔차 요소 R21, R22, R23, R24 내의 다수의 잔차 요소를 수반할 수 있다. 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 적어도 하나의 잔차 요소, 및/또는 제2 복수의 잔차 요소 R21, R22, R23, R24 내의 적어도 하나의 잔차 요소는 적어도 하나의 변환 동작에의 입력들일 수 있다.
적어도 하나의 변환 동작은 적어도 하나의 방향성 분해 동작(directional decomposition operation)을 포함할 수 있다. 방향성 분해 동작은 상관(correlation)을 활용할 수 있다. 예를 들어, 방향성 분해 동작은 방향성(또는 '공간적') 상관을 활용할 수 있다. 이는 특히 그러한 상관의 정도가 높을 때, 더 효율적인 인코딩으로 이어질 수 있다. 방향성 분해 동작은 방향성 컴포넌트들의 세트를 야기할 수 있다. 상이한 방향성 컴포넌트들은 예를 들어 지각된 품질(perceived quality) 측면에서 상이한 방향성 컴포넌트들의 상대적 중요도에 따라, 상이한 인코딩 파라미터들을 사용하여 인코딩될 수 있다. 따라서, 일부 방향성 컴포넌트들은 시각적 품질에서 눈에 띄는 차이 없이, 다른 방향성 컴포넌트들과 다르게 인코딩될 수 있다. 이는 예를 들어 개별 방향성 컴포넌트들의 중요도를 고려하기 위한 더 선택적 인코딩을 용이하게 한다. 일부 예들에서, 일부 방향성 컴포넌트들의 인코딩의 정밀도는 예를 들어 지각적 중요도의 차이에 따라, 다른 방향성 컴포넌트들의 인코딩 정밀도에 비해 증가된다. 일부 예들에서, 일부 방향성 컴포넌트들은 다른 방향성 컴포넌트들에 비해 더 많은 압축을 겪는다. 일부 예들에서, 일부 방향성 컴포넌트들은 예를 들어 상이한 방향성 컴포넌트들 사이의 지각적 중요도의 차이들에 따라, 다른 방향성 컴포넌트들에 비해 더 많은 비트 레이트를 할당받는다. 독자는 예를 들어 방향성 분해 컴포넌트들이 우선순위화되고 인코딩되는 방법에 대한 국제 특허 출원 PCT/EP2013/059847을 참조하면 된다.
아래에서 더 상세히 설명되는 바와 같이, 데이터 요소들의 상이한 세트들 및 유형들 사이의 상관을 추가로 활용하기 위해, 다수의 방향성 분해 동작이 수행될 수 있다. 이것은 또한 동일한 인코더 세팅들을 사용하여 모두 인코딩되었을 수 있는 데이터 요소들의 그룹들이 서로 분리될(decoupled) 수 있게 하는 것에 의해, 개별 데이터 요소들이 어떻게 인코딩되는지에 관한 더 많은 유연성을 제공함으로써, 더 효율적인 인코딩을 야기할 수 있다.
이러한 예에서, 상관 요소들의 세트(210)는 신호 요소들의 4개의 행 및 4개의 열을 포함하는 상관 요소들의 4×4 어레이로서 배열된다. 이러한 예에서, 상관 요소들의 세트(210)는 상관 요소들의 4개의 그룹을 포함한다. 상관 요소들의 그룹들 각각은 복수의 상관 요소를 포함한다. 이러한 예에서, 상관 요소들의 각각의 그룹은 상관 요소들의 2×2 어레이이다. 상관 요소 αij는 상관 요소들의 세트(210) 내의 상관 요소들의 i번째 그룹의 j번째 상관 요소에 대응한다.
상관 요소들의 세트(210)는 잔차 요소들의 세트(208)를 제1 변환(또는 '변형') 행렬(또는 '커널') K1과 미리 곱함(pre-multiplying)으로써 도출될 수 있다. 이는
Figure pct00001
로 기재될 수 있으며, 여기서 α는 상관 요소들의 세트(210)를 나타내고, R은 잔차 요소들의 세트(208)를 나타낸다.
잔차 요소들의 전체 세트(208)를 단일 제1 변환 행렬과 미리 곱함으로써 상관 요소들의 세트(210)를 도출하는 대신에, 잔차 요소들의 세트(208) 내의 잔차 요소들의 더 작은 그룹들이 각각의 더 작은 제1 변환 행렬들과 미리 곱해질 수 있다. 더 작은 행렬들을 사용하면, 더 적은 계산이 수행될 수 있으므로, 더 큰 단일 행렬을 사용할 때보다 더 효율적인 처리를 야기할 수 있다.
이와 같이, 적어도 하나의 변환 동작은 적어도 하나의 수학 연산을 포함할 수 있다. 적어도 하나의 변환 동작은 적어도 하나의 행렬 곱셈 연산을 포함할 수 있다. 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함할 수 있다. 예를 들어, 적어도 하나의 행렬 곱셈 연산을 대신하여 적어도 하나의 선형 결합 동작이 사용될 수 있다. 이와 같이, 인코딩될 데이터는 더 효율적이고 잘 정의된 방식의 인코딩으로 이어질 수 있는 형태로 배열될 수 있다.
일부 예들에서, 상관 요소들의 세트(210) 내의 상관 요소들 αij의 일부 또는 전부는 잔차 요소들의 세트(208) 내의 복수의 잔차 요소 중 단 하나로부터의 잔차 요소들에 기초하여 도출된다. 이러한 상관 요소들 αij는 그것들이 기초로 하는 잔차 요소들 사이의 상관의 정도를 나타낼 수 있다.
상관 요소들의 세트(210)는 잔차 요소들의 세트(208) 내의 잔차 요소들 사이의 상관을 활용할 수 있다. 특히, 잔차 요소들의 세트(208) 내에 강한 상관이 존재하는 경우, 상관 요소들의 세트(210)를 전송하기 위해, 잔차 요소들의 세트(208)보다 더 적은 데이터가 사용될 수 있다. 상관 요소들의 세트(210)는 방향성 상관을 활용할 수 있다. 상관 요소들의 세트(210)는 평균, 수평, 수직 및/또는 대각선 상관을 활용할 수 있다. 일부 예들에서, 상관 요소들의 세트(210)는 잔차 요소들의 세트(208) 내의 값들 중 적어도 일부의 평균, 및 다운샘플링된 데이터(204)의 적어도 일부 값들의 평균에 기초하여 도출된 적어도 하나의 값을 포함한다. 그러한 도출된 값은 예측된 평균값 또는 델타 평균값 ΔA에 대응할 수 있으며, 이는 국제 특허 출원 PCT/EP2013/059847에 설명되어 있다.
이러한 예에서, 상관 요소들의 세트(210)는 상관 요소들의 변환된 세트(212)로 변환된다. 이러한 예에서, 상관 요소들의 변환된 세트(212)는 상관 요소들의 세트(210) 내의 상관 요소들의 일부 또는 전부를 수반하는 적어도 하나의 변환 동작을 수행함으로써 도출된다. 상관 요소들의 변환된 세트(212)는 상관 요소들의 세트(210)와 제2 변환 행렬(또는 '커널') K2를 미리 곱함으로써 도출될 수 있다. 이는
Figure pct00002
로 기술될 수 있으며, 여기서 β는 상관 요소들의 변환된 세트(212)를 나타내고, α는 상관 요소들의 세트(210)를 나타낸다.
상관 요소들의 전체 세트(210)를 단일의 제2 변환 행렬과 미리 곱함으로써 상관 요소들의 변환된 세트(212)를 도출하는 것을 대신하여, 상관 요소들의 세트(210) 내의 상관 요소들의 더 작은 그룹들이 각각의 더 작은 제2 변환 행렬들과 미리 곱해질 수 있다.
이러한 예에서, 상관 요소들의 변환된 세트(212)는 신호 요소들의 4개의 행 및 4개의 열을 포함하는 상관 요소들의 4×4의 어레이로서 배열된다. 이러한 예에서, 상관 요소들의 변환된 세트(212)는 상관 요소들의 4개의 그룹을 포함한다. 상관 요소들의 그룹 각각은 복수의 상관 요소를 포함한다. 이러한 예에서, 상관 요소들의 각각의 그룹은 상관 요소들의 2×2 어레이이다. 상관 요소 βij는 상관 요소들의 세트(212) 내의 상관 요소들의 i번째 그룹의 j번째 상관 요소에 대응한다.
상관 요소들의 변환된 세트(212)는 연관된 인코딩 파라미터들이 개별적으로 설정될 수 있는 더 많은 수의 상이한 유형들의 상관 요소들을 제공함으로써, 상관 요소들의 세트(210)에 비해 더 효율적인 인코딩을 용이하게 할 수 있다.
이와 같이, 적어도 하나의 변환 동작은, 예를 들어 α11, α12, α13, α14로 이루어진 상관 요소들의 제1 세트를 생성하기 위해 제1 복수의 잔차 요소, 예를 들어 R11, R12, R13, R14를 수반하는 변환(또는 '변형')을 수행함으로써 수행될 수 있다 구성됩니다. 적어도 하나의 변환 동작을 수행하는 것은, 또한 예를 들어 α21, α22, α23, α24로 이루어진 상관 요소들의 제2 세트를 생성하기 위해 제2 복수의 잔차 요소, 예를 들어 R21, R22, R23, R24를 수반하는 변환을 수행하는 것을 수반할 수 있다. 상관 요소들의 제1 세트, 예를 들어 α11, α12, α13, α14 내의 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 R11, R12, R13, R14 중 적어도 일부 사이의 상관의 정도에 의존한다. 상관 요소들의 제1 세트, 예를 들어 α11, α12, α13, α14 내의 상관 요소들 각각은 제1 복수의 잔차 요소 R11, R12, R13, R14 각각 사이의 상관의 정도에 의존할 수 있다. 상관 요소들의 제2 세트, 예를 들어 α21, α22, α23, α24 내의 적어도 하나의 상관 요소는 제2 복수의 잔차 요소, 예를 들어 R21, R22, R23, R24 중 적어도 일부 사이의 상관의 정도에 의존한다. 상관 요소들의 제2 세트, 예를 들어 α21, α22, α23, α24 내의 상관 요소들 각각은 제2 복수의 잔차 요소, 예를 들어 R21, R22, R23, R24 각각 사이의 상관의 정도에 의존할 수 있다. 이와 같이, 제1 스테이지에서, 잔차 요소들은 상관 요소들의 하나 이상의 중간 세트, 예컨대 상관 요소들의 세트(210)로 변환된다. 관련된 상관 요소들은 함께 그룹화될 수 있다. 예를 들어, 상관 요소들은 그들이 연관되어 있는 잔차 요소들, 또는 상관 요소 유형에 기초하여 그룹화될 수 있다.
적어도 하나의 변환 동작은 상관 요소들의 변환된 세트(212) 내의 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소, 예를 들어 β11를 생성하기 위해, 상관 요소들의 세트(210), 예를 들어 α11, α12, α13, α14 내의 상관 요소들의 제1 서브세트 내의 적어도 하나의 상관 요소, 및 상관 요소들의 세트(210), 예를 들어 α21, α22, α23, α24 내의 상관 요소들의 제2 서브세트 내의 적어도 하나의 상관 요소를 수반하는 변환을 수행함으로써 수행될 수 있다. 예를 들어, 상관 요소들 α11 및 α21은 상관 요소 β11을 생성하기 위한 변환 동작에 수반될 수 있다. α31 및 α41과 같은 더 많은 상관 요소들 중 하나가 또한 상관 요소 β11을 생성하기 위한 변환 동작에 수반될 수 있다. 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소, 예를 들어 β11은 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소, 예를 들어 α11과 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소, 예를 들어 α21 사이의 상관의 정도에 의존한다. 이와 같이, 제2 스테이지에서, 상관 요소들의 하나 이상의 중간 세트, 예를 들어 상관 요소들의 세트(210) 내의 상관 요소들은 상관 요소들의 하나 이상의 최종 세트, 예를 들어 상관 요소들의 변환된 세트(212)로의 변환 동작에 수반된다. 상관 요소들의 하나 이상의 최종 세트 내의 상관 요소들은 2개의 상관 레벨, 즉 잔차 요소들의 세트(208) 내의 잔차 요소들 사이의 상관 레벨, 및 상관 요소들의 세트(210) 내의 상관 요소들 사이의 상관 레벨을 활용할 수 있다. 이는 레벨들 둘 다에서 강한 상관이 존재하는 경우에 더 효율적인 인코딩을 야기할 수 있고, 또한 인코더 세팅의 세분화된 구성을 허용한다.
적어도 하나의 변환 동작은, 상관 요소들의 제3 세트 내의 적어도 하나의 다른 상관 요소, 예를 들어 β21를 생성하기 위해 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소, 예를 들어 α11, 및 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소, 예를 들어 α21를 수반하는 상이한 변환을 수행함으로써 수행될 수 있다. 예를 들어, 상관 요소들 α11 및 α21은 상관 요소 β21을 생성하기 위해 다른 유형의 변환을 사용하는 변환 동작에 수반될 수 있다. α31 및 α41과 같은 하나 이상의 더 많은 상관 요소가 또한 상관 요소 β21를 생성하기 위해 사용될 수 있다. 상관 요소들의 제3 세트 내의 적어도 하나의 다른 상관 요소, 예를 들어 β21은 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소, 예를 들어 α11과 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소, 예를 들어 α21 사이의 상관의 정도에 의존한다. 중간 상관 요소들 αij을 수반하는 상이한 변환들을 수행함으로써, 다수의 상이한 유형의 상관들이 활용될 수 있다. 이는 다수의 상이한 유형의 상관들이 강한 상관 특성을 보여주는 경우에 효율적인 인코딩을 용이하게 할 수 있다.
이러한 예에서, 상관 요소들의 변환된 세트(212)를 도출하는 것은 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 적어도 하나의 잔차 요소, 예를 들어 R11, 및 제2 복수의 잔차 요소 R21, R22, R23, R24 내의 적어도 하나의 잔차 요소, 예를 들어 R21을 수반하는 하나 이상의 변환 동작을 수행하는 것을 포함할 수 있다. 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 잔차 요소, 예를 들어 R11은 상관 요소들의 세트(210) 내의 제1 상관 요소, 예를 들어 α11을 생성하기 위해 사용될 수 있고, 제2 복수의 잔차 요소 내의 잔차 요소, 예를 들어 R21은 상관 요소들의 세트(210) 내의 제2 상관 요소, 예를 들어 α21을 생성하기 위해 사용될 수 있다. 상관 요소들의 세트(210) 내의 제1 및 제2 상관 요소, 예를 들어 α11 및 α21은 상관 요소들의 변환된 세트(212) 내의 적어도 하나의 상관 요소, 예를 들어 β11을 생성하기 위해 사용될 수 있다.
상관 요소들의 변환된 세트(212) 내의 상관 요소들과 대조적으로, 이러한 예에서, 상관 요소들의 세트(210) 내의 상관 요소들은 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 적어도 하나의 잔차 및 제2 복수의 잔차 요소 R21, R22, R23, R24 내의 적어도 하나의 잔차 요소를 수반하는 하나 이상의 변환 동작을 수행함으로써 생성되지 않는다. 대신에, 이러한 예에서, 상관 요소들의 세트(210) 내의 상관 요소들 각각은 단일의 복수의 잔차 요소로부터의 적어도 하나의 잔차만을 단독으로 수반하는, 예를 들어 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 잔차 요소들만을 수반하는 하나 이상의 변환 동작을 수행함으로써 생성된다.
이러한 예에서, 적어도 하나의 변환 동작은 상관 요소들의 변환된 세트(212) 내의 적어도 하나의 상관 요소, 예를 들어 상관 요소 β11를 생성한다. 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존한다. 적어도 하나의 상관 요소의 값은 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 반비례할 수 있다. 즉, 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관이 강할수록, 적어도 하나의 상관 요소의 값은 제로에 더 가깝다. 상관의 정도는 상관의 양 또는 강도에 관련될 수 있다.
일부 예들에서, 상관 요소들의 변환된 세트(212) 내의 상관 요소들 각각은 잔차 요소들의 세트(208) 내의 잔차 요소들 각각 사이의 상관을 활용한다. 이와 같이, 적어도 하나의 변환 동작은 제1 복수의 잔차 요소 R11, R12, R13, R14 내의 잔차 요소들 전부, 및 제2 복수의 잔차 요소 R21, R22, R23, R24 내의 잔차 요소들 전부를 수반할 수 있다. 따라서, 비교적 많은 수의 잔차 요소들 사이의 상관이 활용될 수 있다. 이것은 비교적 많은 수의 상관 요소들 사이에 강한 상관이 있는 경우에 효율적인 인코딩을 야기할 수 있다.
복수의 상관 요소는 적어도 하나의 변환 동작을 수행할 때 생성될 수 있다. 다수의 상관 요소를 생성함으로써, 상이한 유형들의 상관이 활용될 수 있다. 이와 같이, 상이한 방향들에서 상관이 강한 경우, 더 효율적인 인코딩이 획득될 수 있다. 또한, 상이한 상관 요소들에 대해 상이한 인코더 셋팅들이 사용될 수 있다. 이는 예를 들어 개별 상관 요소들의 중요도를 고려하기 위한 더 선택적인 인코딩을 용이하게 한다.
일부 예들에서, 상관 요소들의 변환된 세트(212)는 상관 요소들의 하나 이상의 추가 변환된 세트(도시되지 않음)를 획득하기 위해 사용된다. 상관 요소들의 하나 이상의 추가 변환된 세트는 상관 요소들의 변환된 세트(212)에 대해 하나 이상의 변환 동작을 예를 들어 직렬로 수행함으로써 획득될 수 있다. 하나 이상의 변환 동작은 위에서 설명된 바와 같은 하나 이상의 방향성 분해 동작을 포함할 수 있다. 이와 같이, 상관 요소들의 하나 이상의 추가 변환된 세트는 상관 요소들의 변환된 세트(212) 내의, 또는 그로부터 도출된 데이터 요소들의 세트 내의 상이한 상관 요소들 사이의 방향성 또는 공간적 상관성과 같은 상관의 정도를 나타낼 수 있다. 이는 특히 그러한 상관의 정도가 높을 때, 더 효율적인 인코딩을 야기할 수 있다.
제1 장치(102)는 적어도 하나의 상관 요소가 인코딩되기 전에 적어도 하나의 변환 동작을 수행한다. 제1 장치(102)는 적어도 하나의 상관 요소를 인코딩할 수 있다. 적어도 하나의 상관 요소는 제1 장치(102)와는 다른 하나 이상의 엔티티에 의해 인코딩될 수 있다.
적어도 하나의 상관 요소가 인코딩되는 것은 적어도 하나의 상관 요소에 대해 양자화가 수행되는 것을 포함할 수 있다. 양자화는 적어도 하나의 상관 요소를 나타내기 위해 사용되는 데이터의 양을 감소시키는 것을 용이하게 한다. 제1 장치(102)는 적어도 하나의 상관 요소를 양자화할 수 있다. 적어도 하나의 상관 요소는 제1 장치(102)와는 다른 하나 이상의 엔티티에 의해 양자화될 수 있다.
개별 인코딩 파라미터들은 상관 요소들의 변환된 세트(212) 내의 개별 상관 요소들을 인코딩하기 위해 사용될 수 있다. 예를 들어, [상관 요소들의 변환된 세트(212) 내의 다른 상관 요소들에 비해] 비교적 중요하지 않은 상관 요소들은 [상관 요소들의 변환된 세트(212) 내의 다른 상관 요소들에 비해] 비교적 중요한 상관 요소들보다 더 높은 레벨의 인코딩, 예를 들어 양자화에 종속될 수 있다.
이러한 예에서, 인코더 디바이스(108)는 인코딩 파라미터들의 세트를 획득한다. 복수의 상관 요소 내의 상관 요소들 각각은 하나 이상의 인코딩 파라미터에 연관될 수 있다. 이것은 예를 들어 상관 요소들의 변환된 세트(212)에 대한 전체 비트 레이트 허용(overall bit rate allowance)을 달성하기 위해, 인코딩 파라미터들의 세분화된 지정을 허용한다. 개별 인코딩 파라미터들은 또한 연관된 상관 요소의 중요도를 나타낼 수 있다. 이것은 가장 중요한 상관 요소들에 우선순위를 매김으로써 효율적인 인코딩을 용이하게 할 수 있다. 상관 요소는 다수의 인코딩 파라미터에 연관될 수 있다. 인코딩 파라미터는 다수의 상관 요소에 연관될 수 있다.
일부 예들에서, 인코딩 파라미터 또는 다른 데이터는 연관된 상관 요소가 인코딩되지 않을 것임을 나타낸다. 예를 들어, 연관된 상관 요소는 폐기되고 전혀 인코딩되지 않을 수 있다. 일부 예들에서, 그 미만에서는 상관 요소가 인코딩되지 않는 미리 정의된 중요도 임계 레벨이 존재한다. 대신에, 그 상관 요소에 대한 디폴트 값이 사용될 수 있다. 그러므로, 복수의 상관 요소의 적어도 일부가 인코딩되지 않을 것임을 나타내기 위해 데이터가 생성될 수 있다. 인코딩은 복수의 상관 요소 중 일부를 인코딩하지 않음으로써 더 효율적으로 이루어질 수 있다. 더 적은 데이터가 인코딩되므로, 인코딩은 더 효율적일 수 있다.
복수의 상관 요소 내의 상관 요소들 각각에 대한 인코딩 파라미터가 결정될 수 있다. 인코딩 파라미터들을 결정하는 것은 인코딩 파라미터들의 일부 또는 전부를 검색하는 것, 인코딩 파라미터들의 일부 또는 전부를 계산하는 것, 또는 다른 방식으로 인코딩 파라미터들의 일부 또는 전부를 획득하는 것을 수반할 수 있다.
일부 예들에서, 인코딩 파라미터의 값은 상관 요소들의 변환된 세트(212) 내의 다른 상관 요소들의 중요도에 대한, 자신이 연관된 상관 요소의 중요도에 적어도 부분적으로 기초하여 결정된다. 인코딩 파라미터의 값은 지각된 품질의 관점에서 연관된 상관 요소의 중요도를 나타낼 수 있다.
일부 예들에서, 상관 요소들의 변환된 세트(212) 내의 상관 요소들의 적어도 일부는 서로 동일한 인코딩 파라미터 및/또는 인코딩 파라미터 값에 연관된다. 이것은 이러한 상관 요소들이 지각된 품질의 측면에서 모두 동일하게 중요하다는 것을 나타낼 수 있다. 예를 들어, 연관된 상관 요소들의 중요도의 임의의 차이가 임계 레벨을 초과하지 않는 경우, 인코딩은 상관 요소들 중 서로 다른 것들에 대해 동일한 레벨의 인코딩을 지정함으로써 향상될 수 있고, 따라서 인코더는 상관 요소들 중 복수의 상관 요소에 대해 동일한 인코더 세팅들을 사용할 수 있다. 임계 레벨은 0이거나 0이 아닐 수 있다.
일부 예들에서, 상관 요소들의 변환된 세트(212) 내의 상관 요소들의 적어도 일부는 상이한 인코딩 파라미터들 및/또는 인코딩 파라미터 값들에 연관된다. 이는 지각된 품질의 측면에서 이러한 상관 요소들의 상대적 중요도를 결정함으로써 인코딩을 용이하게 할 수 있다. 예를 들어, 지각된 품질의 측면에서 그러한 상관 요소들의 상대적 중요도에 의존하여 양자화의 상이한 양이 사용될 수 있다.
일부 예들에서, 상관 요소들의 변환된 세트 내의 상관 요소들 전부는 상이한 인코딩 파라미터들 및/또는 인코딩 파라미터 값들에 연관된다.
인코딩 파라미터들의 세트 내의 인코딩 파라미터들의 값을 결정함에 있어서 여러 상이한 인자들이 고려될 수 있다. 그러한 인자들의 예는 주파수 분석, 각 주파수 분석(angular frequency analysis), 시거리 분석(viewing distance analysis), 및 픽셀 크기 분석을 포함하지만, 이에 한정되지 않는다. 그러한 인자들을 고려하면, 지각적 중요도의 측면에서 상관 요소들의 순위를 매기는 것을 용이하게 할 수 있다. 결국, 이는 예를 들어 양자화가 상관 요소들에 적용되어야 하는 정도를 결정하는 데 사용될 수 있다.
인코딩 파라미터들의 적어도 일부는 상관 요소들 사이의 지각적 중요도의 각각의 척도들(measures)을 나타낼 수 있다. 이는 상관 요소들의 중요도 척도에 기초하여 인코딩이 가중되는 것을 허용함으로써 인코딩을 향상시킬 수 있다.
인코딩 파라미터들의 적어도 일부는 복수의 상관 요소 내의 상관 요소들 중 상이한 요소들에 대해 동일할 수 있다.
복수의 인코딩 파라미터는 적어도 하나의 양자화 계수를 포함할 수 있다. 이와 같이, 상이한 상관 요소들에 대해, 예를 들어 그것들의 중요도에 기초하여 상이한 레벨들의 양자화가 적용될 수 있다. 이는 전송될 데이터의 양을 감소시키는 것이 양자화된 데이터에 연관된 품질의 지각에 대해 균형을 이루는 인코딩 기술을 제공할 수 있다.
일부 예들에서, 제1 장치(102)는 인코딩 파라미터들의 세트를 적어도 하나의 다른 장치, 예를 들어 제2 장치(104)에 출력한다. 제2 장치(104)는 인코딩된 상관 요소들의 디코딩을 용이하게 하기 위해 인코딩 파라미터들의 세트를 사용할 수 있다. 이와 같이, 인코딩 파라미터들을 포함하는 데이터가 출력될 수 있다. 이것은 또한 인코딩이 다른 엔티티에 의해 수행되는 경우에서 인코딩을 용이하게 한다.
복수의 상관 요소는 인코딩 파라미터들의 세트에 기초하여 인코딩될 수 있다. 이와 같이, 복수의 상관 요소를, 예를 들어 그들의 상대적 중요도를 반영하도록 인코딩하기 위한 신뢰가능한 메커니즘이 제공된다.
이러한 예에서, 제1 장치(102)는 적어도 하나의 상관 요소가 인코딩되기 전에, 상관 요소들의 변환된 세트 내의 적어도 하나의 상관 요소를 생성하기 위해 적어도 하나의 변환 동작을 수행한다.
이러한 예에서, 제1 장치(102)는 다운샘플링된 데이터(204), 및 상관 요소들의 변환된 세트(212)를 아마도 인코딩된 형태로 제2 장치(104)에 전송한다.
도 3을 참조하면, 신호 처리 기술(300)의 예가 개략적으로 도시되어 있다. 신호 처리 기술(300)은 제2 장치(104)에 의해 수행될 수 있다. 도 3에 도시된 일부 항목들은 도 2에 도시된 항목들과 유사하다. 따라서, 유사한 항목들에 대해, 100씩 증가된 대응하는 참조 부호들이 사용된다.
이러한 예에서, 제2 장치(104)는 다운샘플링된 데이터(304), 및 상관 요소들의 변환된 세트(312)를 제1 장치(102)로부터 수신한다. 다른 예들에서, 제2 장치(104)는 다운샘플링된 데이터(304) 및/또는 상관 요소들의 변환된 세트(312) 자체가 아니라, 다운샘플링된 데이터(304) 및/또는 상관 요소들의 변환된 세트(312)를 획득하기 위해 사용가능한 데이터를 수신한다. 예를 들어, 제2 장치(104)는 수신된 데이터에 기초하여, 다운샘플링된 데이터(304) 및/또는 상관 요소들의 변환된 세트(312)를 도출할 수 있다.
상기 식
Figure pct00003
의 양변에
Figure pct00004
의 역행렬, 즉
Figure pct00005
을 미리 곱하면,
Figure pct00006
가 주어진다. 행렬에 그것의 역행렬을 미리 곱하기 때문에, 항등 행렬
Figure pct00007
이 주어진다. 이와 같이, 제2 장치(104)는 상관 요소들의 변환된 세트(312)에 제2 변환 행렬의 역행렬
Figure pct00008
을 미리 곱함으로써 상관 요소들의 세트(310)를 도출할 수 있다.
상기 식
Figure pct00009
의 양변에
Figure pct00010
의 역행렬, 즉
Figure pct00011
을 미리 곱하면,
Figure pct00012
가 주어진다. 행렬에 그것의 역행렬을 미리 곱하기 때문에, 항등 행렬
Figure pct00013
이 주어진다. 이와 같이, 제2 장치(104)는 상관 요소들의 세트(310)에 제1 변환 행렬의 역행렬
Figure pct00014
을 미리 곱함으로써 잔차 요소들의 세트(308)를 도출할 수 있다.
이와 같이, 제2 장치(104)는 잔차 요소들의 세트(308)를 복구한다.
데이터(306)를 생성하기 위해, 다운샘플링된 데이터(304)가 처리된다. 이러한 예에서, 데이터(306)는 제1 장치(102)가 데이터(204)를 업샘플링한 것과 동일한 방식으로, 다운샘플링된 데이터(304)를 업샘플링함으로써 획득된다. 이러한 특정 예에서, 데이터(306)는 "업샘플링된 데이터"로서 지칭되며, 다른 예들에서 데이터가 상이한 방식으로 처리될 수 있다는 것이 이해된다.
따라서, 값들 Uij 및 Rij 전부가 제2 장치(104)에 알려지기 때문에, 제2 장치(104)는 업샘플링된 데이터(306) 및 잔차 요소들의 세트(308)를 사용하여 입력 데이터(302)를 복구할 수 있다.
제2 장치(104)는 상관 요소들의 변환된 세트(312) 내의 적어도 하나의 상관 요소, 예를 들어 β11을 수반하는 적어도 하나의 변환 동작을 수행한다. 적어도 하나의 변환 동작은 제1 장치(102)에 의해 수행되는 변환의 역인 적어도 하나의 변환을 수반할 수 있다. 적어도 하나의 변환 동작은 제1 복수의 잔차 요소, 예를 들어 R11, R12, R13, R14 내의 적어도 하나의 잔차 요소, 예를 들어 R11, 및 제2 복수의 잔차 요소, 예를 들어 R21, R22, R23, R24 내의 적어도 하나의 잔차 요소, 예를 들어 R21를 생성한다. 적어도 하나의 변환 동작은 하나 이상의 추가의 잔차 요소를 생성할 수 있다. 적어도 하나의 변환 동작은 하나 이상의 추가의 상관 요소를 수반할 수 있다.
적어도 하나의 상관 요소, 예를 들어 β11은 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소, 예를 들어 R11과 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소, 예를 들어 R21 사이의 상관의 정도에 의존한다. 제1 복수의 잔차 요소, 예를 들어 R11, R12, R13, R14는, 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분, 예를 들어 신호 요소들 U11, U12, U13, U14로 이루어진 업샘플링된 데이터(306)의 부분을 이용하여, 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분, 예를 들어 신호 요소들 I11, I12, I13, I14로 이루어진 입력 데이터(302)의 부분을 재구성하는 데 사용가능하다. 제2 복수의 잔차 요소, 예를 들어 R21, R22, R23, R24는, 신호의 제2 표현의 상이한 제2 부분, 예를 들어 신호 요소들 U21, U22, U23, U24로 이루어진 업샘플링된 데이터(306)의 부분을 이용하여, 신호의 제1 표현의 상이한 제2 부분, 예를 들어 신호 요소들 I21, I22, I23, I24로 이루어진 입력 데이터(302)의 부분을 재구성하는 데 사용가능하다.
제2 장치(104)는 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트, 예를 들어 다운샘플링된 데이터(304) 내의 신호 요소 D1로부터, 제2 표현의 제1 부분, 예를 들어 신호 요소들 U11, U12, U13, U14로 이루어진 업샘플링된 데이터(306)의 부분을 도출한다.
제2 장치(104)는 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트, 예를 들어 다운샘플링된 데이터(304) 내의 신호 요소 D2로부터, 제2 표현의 상이한 제2 부분, 예를 들어 신호 요소들 U21, U22, U23, U24로 이루어진 업샘플링된 데이터(306)의 부분을 도출한다.
제2 장치(104)는 출력 데이터를 생성하기 위해, 적어도 제1 복수의 잔차 요소, 예를 들어 R11, R12, R13, R14, 제2 복수의 잔차 요소, 예를 들어 R21, R22, R23, R24, 제2 표현의 제1 부분, 예를 들어 U11, U12, U13, U14, 및 제2 표현의 제2 부분, 예를 들어 U21, U22, U23, U24를 사용한다. 출력 데이터는 입력 데이터(302)를 포함할 수 있다.
제2 장치(104)는 적어도 하나의 상관 요소, 예를 들어 β11이 디코딩된 후에, 적어도 하나의 변환 동작을 수행하도록 구성된다. 적어도 하나의 상관 요소는 제2 장치(104)에 의해, 또는 하나 이상의 다른 엔티티에 의해 디코딩될 수 있다.
제2 장치(104)는 본 명세서에 설명된 적어도 일부 다른 특징들, 예를 들어 제1 장치(102)와 관련하여 설명된 특징들을 가질 수 있다. 제2 장치(104)는 본 명세서에 설명된 적어도 일부 다른 기술들, 예를 들어 제1 장치(102)에 관련하여 본 명세서에 설명된 기술들을 수행하도록 구성될 수 있다.
도 4를 참조하면, 장치(400)의 예에 대한 개략적인 블록도가 도시되어 있다.
예에서, 장치(400)는 디코더 디바이스를 포함한다. 다른 예에서, 장치(400)는 인코더 디바이스를 포함한다.
장치(400)의 다른 예들은 모바일 컴퓨터, 개인 컴퓨터 시스템, 무선 디바이스, 기지국, 전화 디바이스, 데스크톱 컴퓨터, 랩톱, 노트북, 넷북 컴퓨터, 메인 프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 저장 디바이스, 카메라, 캠코더, 모바일 디바이스, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스와 같은 소비자 전자 디바이스, 스위치, 모뎀, 라우터 등과 같은 주변 디바이스, 또는 일반적으로 임의의 유형의 컴퓨팅 또는 전자 디바이스를 포함하지만, 그에 한정되지 않는다.
이러한 예에서, 장치(400)는 정보 및/또는 명령어를 처리하도록 구성된 하나 이상의 프로세서(401)를 포함한다. 하나 이상의 프로세서(401)는 중앙 처리 장치(CPU)를 포함할 수 있다. 하나 이상의 프로세서(401)는 버스(402)와 결합된다. 하나 이상의 프로세서(401)에 의해 수행되는 동작들은 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다. 하나 이상의 프로세서(401)는 다수의 공동 위치된 프로세서 또는 다수의 별개로 위치된 프로세서를 포함할 수 있다.
이러한 예에서, 장치(400)는 하나 이상의 프로세서(401)에 대한 정보 및/또는 명령어들을 저장하도록 구성된 컴퓨터 사용가능한 휘발성 메모리(403)를 포함한다. 컴퓨터 사용가능한 휘발성 메모리(403)는 버스(402)와 결합된다. 컴퓨터 사용가능한 휘발성 메모리(403)는 랜덤 액세스 메모리(RAM)를 포함할 수 있다.
이러한 예에서, 장치(400)는 하나 이상의 프로세서(401)에 대한 정보 및/또는 명령어들을 저장하도록 구성된 컴퓨터 사용가능한 비휘발성 메모리(404)를 포함한다. 컴퓨터 사용가능한 비휘발성 메모리(404)는 버스(402)와 연결된다. 컴퓨터 사용가능한 비휘발성 메모리(404)는 판독 전용 메모리(ROM)를 포함할 수 있다.
이러한 예에서, 장치(400)는 정보 및/또는 명령어들을 저장하도록 구성된 하나 이상의 데이터 저장 유닛(405)을 포함한다. 하나 이상의 데이터 저장 유닛(405)은 버스(402)와 연결된다. 하나 이상의 데이터 저장 유닛(405)은 예를 들어 자기 또는 광학 디스크, 및 디스크 드라이브 또는 고체 상태 드라이브(SSD)를 포함할 수 있다.
이러한 예에서, 장치(400)는 하나 이상의 프로세서(401)에 및/또는 하나 이상의 프로세서로부터 정보를 통신하도록 구성된 하나 이상의 입력/출력(I/O) 디바이스(406)를 포함한다. 하나 이상의 I/O 디바이스(406)는 버스(402)와 연결된다. 하나 이상의 I/O 디바이스(406)는 적어도 하나의 네트워크 인터페이스를 포함할 수 있다. 적어도 하나의 네트워크 인터페이스는 장치(400)가 하나 이상의 데이터 통신 네트워크를 통해 통신할 수 있게 할 수 있다. 데이터 통신 네트워크들의 예들은 인터넷 및 근거리 네트워크(LAN)를 포함하지만, 그에 한정되지 않는다. 하나 이상의 I/O 디바이스(406)는 사용자가 하나 이상의 입력 디바이스(도시되지 않음)를 통해 장치(400)에 입력을 제공할 수 있게 할 수 있다. 하나 이상의 입력 디바이스는 예를 들어 원격 제어부, 하나 이상의 물리 버튼 등을 포함할 수 있다. 하나 이상의 I/O 디바이스(406)는 정보가 하나 이상의 출력 디바이스(도시되지 않음)를 통해 사용자에게 제공될 수 있게 할 수 있다. 하나 이상의 출력 디바이스는 예를 들어 디스플레이 스크린을 포함할 수 있다.
장치(400)에 대해 다양한 다른 엔티티가 도시된다. 예를 들어, 존재하는 경우, 운영 체제(407), 신호 처리 모듈(408), 하나 이상의 추가 모듈(409), 및 데이터(410)가 컴퓨터 사용가능한 휘발성 메모리(403), 컴퓨터 사용가능한 비휘발성 메모리(404), 및 하나 이상의 데이터 저장 유닛(405) 중 하나 또는 그것의 조합에 존재하는 것으로서 도시된다. 신호 처리 모듈(408)은 컴퓨터 사용가능한 비휘발성 메모리(404), 하나 이상의 데이터 저장 유닛(405) 내의 컴퓨터 판독가능한 저장 매체, 및/또는 다른 실체있는 컴퓨터 판독가능한 저장 매체 내의 메모리 위치들에 저장된 컴퓨터 프로그램 코드에 의해 구현될 수 있다. 실체있는 컴퓨터 판독가능한 저장 매체의 예들은 광학 매체(예를 들어, CD-ROM, DVD-ROM 또는 Blu-ray), 플래시 메모리 카드, 플로피 또는 하드 디스크, 또는 적어도 하나의 ROM 또는 RAM 또는 프로그래머블 ROM(PROM) 칩들 내에 또는 주문형 집적 회로(Application Specific Integrated Circuit)(ASIC)로서 펌웨어 또는 마이크로 코드와 같은 컴퓨터 판독가능한 명령어들을 저장할 수 있는 임의의 다른 매체를 포함하지만, 그에 한정되지 않는다.
따라서, 장치(400)는 하나 이상의 프로세서(401)에 의해 실행될 수 있는 신호 처리 모듈(408)을 포함할 수 있다. 신호 처리 모듈(408)은 본 명세서에 설명된 동작들의 적어도 일부를 구현하기 위한 명령어들을 포함하도록 구성될 수 있다. 동작 동안, 하나 이상의 프로세서(401)는 신호 처리 모듈(408)에서 명령어들을 런칭하거나, 운영하거나, 실행하거나, 해석하거나, 다르게 수행한다.
도면들을 참조하여 본 명세서에서 설명된 예들의 적어도 일부 양태들은 처리 시스템들 또는 프로세서들에서 수행되는 컴퓨터 프로세스들을 포함하지만, 여기에 설명된 예들은 또한 컴퓨터 프로그램들, 예를 들어 예들을 실행하도록 적응된 캐리어 상의 또는 캐리어 내의 컴퓨터 프로그램들로 확장된다. 캐리어는 프로그램을 운반할 수 있는 임의의 엔티티 또는 디바이스일 수 있다.
장치(400)는 도 4에 도시된 것들보다 많은, 적은 및/또는 상이한 컴포넌트들을 포함할 수 있음을 알 것이다.
장치(400)는 단일 위치에 위치될 수 있거나 다수의 위치에 분산될 수 있다. 그러한 위치들은 로컬 또는 원격일 수 있다.
본 명세서에 설명된 기술들은 소프트웨어 또는 하드웨어로 구현될 수 있거나, 소프트웨어 및 하드웨어의 조합을 사용하여 구현될 수 있다. 그것들은 본 명세서에 설명된 기술들의 일부 또는 전부를 수행 및/또는 지원하도록 장치를 구성하는 것을 포함할 수 있다.
제1 복수의 잔차 요소가 획득되는 다양한 수단(예를 들어, 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체)이 제공된다. 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여, 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을 재구성하는 데에 사용 가능하다. 제2 표현의 제1 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능하다. 제2 복수의 잔차 요소가 획득된다. 제2 복수의 잔차는 신호의 제2 표현의 상이한 제2 부분을 사용하여, 신호의 제1 표현의 상이한 제2 부분을 재구성하는 데에 사용가능하다. 제2 표현의 제2 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능하다. 적어도 하나의 상관 요소를 생성하기 위해, 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반하는 적어도 하나의 변환 동작이 수행된다. 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존한다. 장치는 적어도 하나의 상관 요소가 인코딩되기 전에 적어도 하나의 변환 동작을 수행하도록 구성된다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 적어도 하나의 방향성 분해 동작을 포함한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 적어도 하나의 수학 연산을 포함한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작을 수행함에 있어서 복수의 상관 요소가 생성된다.
위에서 설명된 예들에서, 데이터는 복수의 상관 요소의 적어도 일부가 인코딩되지 않을 것임을 나타내기 위해 생성된다.
위에서 설명된 예들에서, 복수의 상관 요소 내의 상관 요소들 각각은 인코딩 파라미터에 연관된다.
위에서 설명된 예들에서, 복수의 상관 요소 내의 상관 요소들 각각에 대한 인코딩 파라미터가 결정된다.
위에서 설명된 예들에서, 복수의 상관 요소 내의 상관 요소들 각각에 대한 인코딩 파라미터는 복수의 상관 요소 내의 상관 요소들의 위치에 기초하여 결정된다.
위에서 설명된 예들에서, 복수의 상관 요소 내의 인코딩 파라미터의 값은 인코딩 파라미터에 연관된 상관 요소의 값에 독립적이다.
위에서 설명된 예들에서, 인코딩 파라미터들의 적어도 일부는 복수의 상관 요소 내의 상관 요소들 중의 상이한 요소들에 대해 상이하다.
위에서 설명된 예들에서, 인코딩 파라미터들의 적어도 일부는 복수의 상관 요소 내의 상관 요소들 중 상이한 요소들에 대해 동일하다.
위에서 설명된 예들에서, 인코딩 파라미터들의 적어도 일부는 상관 요소들 사이의 지각적 중요도의 각각의 척도들을 나타낸다.
위에서 설명된 예들에서, 복수의 인코딩 파라미터는 적어도 하나의 양자화 계수를 포함한다.
위에서 설명된 예들에서, 복수의 상관 요소는 인코딩 파라미터들에 기초하여 인코딩된다.
위에서 설명된 예들에서, 인코딩 파라미터들을 포함하는 데이터가 출력된다.
위에서 설명된 예들에서, 적어도 하나의 상관 요소가 인코딩되는 것은 적어도 하나의 상관 요소에 대해 양자화가 수행되는 것을 포함한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 상관 요소들의 제1 세트를 생성하기 위해 제1 복수의 잔차 요소를 수반하는 변환을 수행하고, 상관 요소들의 제2 세트를 생성하기 위해 제2 복수의 잔차 요소를 수반하는 변환을 수행함으로써 수행된다. 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소는 제1 복수의 잔차 요소의 적어도 일부 사이의 상관의 정도에 의존한다. 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소는 제2 복수의 잔차 요소의 적어도 일부 사이의 상관의 정도에 의존한다.
위에서 설명된 예들에서, 상관 요소들의 제1 및 제2 세트 내의 상이한 상관 요소들은 상이한 유형들의 상관을 나타낸다. 동일한 유형의 상관 요소들은 상관 요소들의 제1 및 제2 세트 내에서 함께 그룹화된다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소를 생성하기 위해, 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 및 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소를 수반하는 변환을 수행함으로써 수행된다. 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소는 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소와 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소 사이의 상관의 정도에 의존한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 상관 요소들의 제3 세트 내의 적어도 하나의 다른 상관 요소를 생성하기 위해, 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 및 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소를 수반하는 상이한 변환을 수행함으로써 수행된다. 상관 요소들의 제3 세트 내의 적어도 하나의 다른 상관 요소는 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소와 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소 사이의 상관의 정도에 의존한다.
위에서 설명된 예들에서, 적어도 하나의 변환 동작은 제1 복수의 잔차 요소 내의 잔차 요소들 전부 및 제2 복수의 잔차 요소 내의 잔차 요소들 전부를 수반한다.
제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 생성하기 위해 적어도 하나의 상관 요소를 수반하는 적어도 하나의 변환 동작이 수행되는 다양한 수단(예를 들어, 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체)이 제공된다. 적어도 하나의 상관 요소는 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소와 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존한다. 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제2 표현의 제1 부분을 사용하여 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을 재구성하는 데 사용 가능하다. 제2 복수의 잔차 요소는 신호의 제2 표현의 상이한 제2 부분을 사용하여 신호의 제1 표현의 상이한 제2 부분을 재구성하는 데 사용가능하다. 제2 표현의 제1 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출된다. 제2 표현의 제2 부분은 비교적 낮은 품질 레벨에서의 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출된다. 적어도 제1 복수의 잔차 요소, 제2 복수의 잔차 요소, 제2 표현의 제1 부분, 및 제2 표현의 제2 부분은 출력 데이터를 생성하기 위해 사용된다. 적어도 하나의 변환 동작은 적어도 하나의 상관 요소가 디코딩된 후에 수행된다.
신호 데이터를 처리하기 위해, 다양한 수단(예를 들어, 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체)이 제공된다. 잔차 요소들의 세트가 획득된다. 잔차 요소들의 세트 내의 제1 복수의 잔차 요소는 상관 요소들의 제1 세트를 생성하는 데 사용가능하다. 잔차 요소들의 세트 내의 제2 복수의 잔차 요소는 상관 요소들의 제2 세트를 생성하는 데 사용가능하다. 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소는 제1 복수의 잔차 요소의 적어도 일부 사이의 상관, 예를 들어 공간적 또는 방향성 상관의 정도를 나타낸다. 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소는 제2 복수의 잔차 요소의 적어도 일부 사이의 상관, 예를 들어 공간적 또는 방향성 상관의 정도를 나타낸다. 상관 요소들의 제1 및 제2 세트는 상관 요소들의 제3 세트로 변환 가능하다. 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소는 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 중 하나 이상과 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소 중 하나 이상 사이의 상관, 예를 들어 공간적 또는 방향성 상관의 정도를 나타낸다. 상관 요소들의 제3 세트 내의 제1 상관 요소는 제1 복수의 잔차 요소 중 적어도 하나와 제2 복수의 잔차 요소 중 적어도 하나를 수반하는 제1 변환 동작을 수행함으로써 생성된다. 상관 요소들의 제3 세트 내의 제2 상관 요소는 제1 복수의 잔차 요소 중 적어도 하나 및 제2 복수의 잔차 요소 중 적어도 하나에 대해 제2 변환 동작을 수행함으로써 생성된다.
상기 실시예들은 예시적인 것으로 이해되어야 한다. 다른 실시예들이 고려된다.
위에서 설명된 예들에서, 제2 장치(104)는 제1 장치(102)에 의해 획득된 입력 데이터를 완전히 복구하거나 재구성할 수 있다. 다른 예들에서, 제2 장치(104)는 제1 장치(102)에 의해 획득된 입력 데이터를 완전히 복구하지 못할 수 있다. 예를 들어, 원본 입력 데이터를 복구하는 데 필요할 수 있는 일부 정보는 양자화 동안 손실될 수 있고, 제2 장치(104)에 의해 복구가능하지 않을 수 있다.
위에서 설명된 예들에서, 상관 요소들의 변환된 세트(212)는 제1 및 제2 변환 행렬들 K1 및 K2를 수반하는 2개의 별개의 행렬 곱셈에 의해 잔차 요소들의 세트(208)로부터 간접적으로 획득된다. 다른 예들에서, 상관 요소들의 변환된 세트(212)는 위에서 설명된 제1 및 제2 변환 행렬들 K1 및 K2을 수반하는 2개의 행렬 곱셈을 결합함으로써 잔차 요소들의 세트(208)로부터 직접 획득된다. 그러한 다른 예들에서, 2개의 별개의 행렬 곱셈, 즉 K1을 수반하는 하나의 행렬 곱셈 및 K2를 수반하는 다른 행렬 곱셈을 수행하기보다는, 행렬 변환들 둘 다를 병합하는 단일 행렬 곱셈 연산이 사용된다. 위의 방정식
Figure pct00015
의 양변에 K2를 미리 곱하면
Figure pct00016
이 주어진다. 위의 방정식을 사용하면
Figure pct00017
이므로
Figure pct00018
인 것을 알 수 있다. 병합된 행렬 K3은
Figure pct00019
에 의해 획득될 수 있고, 변환은
Figure pct00020
로서 수행될 수 있다. 2개의 행렬 곱셈을 병합하면, 메모리가 중간 행렬을 저장하는 데 사용되지 않는다는 점에서 유용할 수 있다. 처리 시간은 또한 2개의 행렬 곱셈을 수행하는 것과 비교하여 하나의 행렬 곱셈을 수행할 때 감소될 수 있다.
위에서 설명된 예들에서, 상관 요소들의 세트는 잔차 요소들의 세트를 제1 변환 행렬 K1과 미리 곱함으로써 획득되고, 상관 요소들의 변환된 세트는 상관 요소들의 세트를 제2 변환 행렬 K2와 미리 곱함으로써 획득된다. 상관 요소들의 세트 및 상관 요소들의 변환된 세트는 신호 요소들의 4×4 어레이에 대응하는 잔차 요소들로부터 도출된다. 이와 같이, K1 및 K2 각각은 데이터 요소들의 16×1 세트에 적용되는 16×16 변환 행렬을 포함할 수 있다. 일부 예들에서, 잔차 요소들 및/또는 상관 요소들의 더 작은 그룹들은 각각의 더 작은 변환 행렬들과 미리 곱해진다. 예를 들어, K1 및 K2 중 하나 또는 둘 다는 4×4 변환 행렬을 포함할 수 있고, 4×1 세트의 데이터 요소에 적용될 수 있다.
일례에서, 제1 변환 행렬 K1은 다음의 행렬을 포함한다:
Figure pct00021
신호 요소들의 2×2 어레이에 각각 대응하는 잔차 요소들의 4개의 4×1 세트에 K1을 적용하면, 상관 요소들의 4개의 4×1 세트가 야기된다. 각각의 세트 내의 상관 요소들 중 적어도 하나는 신호 요소들의 하나의 행으로부터의 신호 요소들에 연관된 적어도 2개의 잔차 요소 및 신호 요소들의 다른 행으로부터의 신호 요소들에 연관된 상이한 수의 잔차 요소로부터 도출된다. 예를 들어, K1의 제1 행으로부터 야기된 상관 요소는 신호 요소들의 하나의 행으로부터의 신호 요소들에 연관된 2개의 잔차 요소, 및 신호 요소들의 다른 행으로부터의 신호 요소들에 연관된 0개의 잔차 요소로부터 도출된다. 한편, K1의 제2 행으로부터 야기된 상관 요소는 신호 요소들의 하나의 행으로부터의 신호 요소들에 연관된 2개의 잔차 요소 및 신호 요소들의 다른 행으로부터의 신호 요소들에 연관된 2개의 잔차 요소로부터 도출된다. K1은 수직 상관에 비해 수평 상관을 강조한다는 점에서, 이 예에서 "1D" 상관 변환 행렬로 지칭될 수 있다.
이와 같이, 이 예에서, 상관 요소들의 각각의 세트 내의 적어도 하나의 상관 요소는 입력 데이터의 신호 요소들의 제1 및 제2 행으로부터의 신호 요소들에 연관된 동일한 수의 잔차 요소들의 기여들로부터 도출되지 않는다. 이러한 방식으로 불균일한 기여를 취함으로써, 상관 요소들을 도출하는 데에 있어서의 입력 데이터의 신호 요소들의 상이한 행들로부터의 신호 요소들에 연관된 잔차 요소들의 기여들이 더 쉽게 가중될 수 있다. 사실상, 입력 데이터의 신호 요소들의 행들은 상관 요소들의 세트에 대한 그들의 상대적 기여도의 관점에서 분리될 수 있다. 상관 요소들의 세트를 도출하는 데에 있어서, 변환 행렬 K1 내의 요소들은 신호 요소들의 상이한 행들로부터의 신호 요소들에 연관된 잔차 요소들의 상대적 기여들에 영향을 주도록 선택될 수 있다.
입력 데이터 내의 신호 요소들의 행들을 상관 요소들의 세트에 대한 그들 각각의 기여도의 관점에서 분리하는 것은 다양한 효과들을 제공한다. 입력 신호 요소들의 상이한 행들이 상이한 가중된 기여도들을 갖는 것을 허용하면, 예를 들어 인터레이싱된 비디오 신호들을 다룰 때 개선된 성능이 제공될 수 있다. 인터레이싱된 비디오에서, 예를 들어 1920×1080 데이터 요소를 포함하는 주어진 비디오 프레임은, 1920×540 데이터 요소를 각각 포함하는 비디오 데이터의 2개의 필드의 배열이며, 그것들의 데이터 요소들의 행들은 서로 인터레이싱된다. 2개의 필드 각각은 상이한 시간 샘플들에서의 비디오를 나타낸다. 따라서, 인터레이싱된 비디오 신호의 프레임 내의 인접한 신호 요소들 사이의 수직 상관, 즉 인접한 행들의 데이터 요소들 사이의 상관은 감소되고, 심지어 존재하지 않거나 인공적(artificial)일 수 있다. 인접한 데이터 요소들 사이의 수평 상관, 즉 인접한 열들의 데이터 요소들 사이의 상관은 수직 상관보다 더 중요하다. 따라서, 예를 들어 단일 필드로부터의 데이터 요소들만이 사용되도록 상이한 행들로부터의 데이터 요소들의 기여도들에 영향을 줄 수 있는 능력은 임의의 거짓 또는 원하지 않는 수직 상관이 고려되지 않을 것을 보장하는 데에 이로울 수 있다. 추가로, 2차원으로 인터레이싱된 비디오 신호들을 다운샘플링 및 업샘플링하면 2개의 상이한 시점에 대응하는 2개의 인터레이싱된 필드로 인해 추가 고려사항들이 도입될 수 있다. 필드들은 다운샘플링 이전에 디인터레이싱될 수 있지만, 이것은 계산적으로 비용이 많이 들 수 있고, 원하지 않는 이미지 아티팩트들 또는 불연속성들을 생성할 수 있다. 따라서, 인터레이싱된 비디오는 수평 차원으로만 다운샘플링 및 업샘플링될 수 있다. 인터레이싱된 비디오의 필드의 예시적인 해상도는 1920×540이다. 인터레이싱된 비디오의 필드의 수평으로 다운샘플링된 렌디션(rendition)은 예를 들어 960×540의 해상도를 가질 수 있다. 그러한 수평 다운샘플링 동작 또는 대응하는 수평 업샘플링 동작에서, 수직으로 인접한 데이터 요소들로부터의 기여들은 고려되지 않는다.
또한, 신호 요소들의 상이한 행들로부터의 불평등한 기여들을 취하는 것은 또한 프로그레시브 비디오의 경우에 이로울 수 있다. 프로그레시브 비디오에서, 카메라들은 이미지들을 수평으로 스캔할 수 있으므로, 사실상 1차원 전송 기능을 가질 수 있다. 따라서, 임의의 수직 상관은 거짓일 수 있으며, 그러한 인공적인 수직 상관의 영향을 감소시키는 것이 바람직할 수 있다.
4개의 변환된 상관 요소의 4개의 세트를 획득하기 위해, 상관 요소들의 4개의 4×1 세트 각각은 제2 4×4 변환 행렬 K2와 미리 곱해질 수 있다. 예에서, 제2 변환 행렬 K2는 다음의 행렬을 포함한다:
Figure pct00022
제2 변환 행렬 K2는 수평 및 수직 상관을 동일하게 취급한다는 점에서, 이 예에서 "2D" 상관 변환 행렬이라고 지칭될 수 있다. 예를 들어, 변환된 상관 요소들의 세트 내의 각각의 변환된 상관 요소는 대응하는 요소들의 대응하는 세트 내의 모든 상관 요소로부터 동일한 기여들을 취할 수 있다.
제1 변환 행렬 K1 및/또는 제2 변환 행렬 K2는 위에 보여진 것들과 다를 수 있다. 일부 예들에서, 제1 변환 행렬 K1은 제2 변환 행렬 K2와 동일하다. 일부 예들에서, 제1 변환 행렬 K1은 위에서 설명된 바와 같이 "2D" 상관 변환 행렬이다. 일부 예들에서, 제2 변환 행렬 K2는 위에서 설명된 바와 같이 "1D" 상관 변환 행렬이다.
일부 예들에서, K1 및 K2 각각이 4개의 요소의 4개의 세트에 적용되는 대신에, 신호 요소들의 4×4 어레이에 대응하는 잔차 요소들의 세트에 제1 16×16 변환 행렬을 적용함으로써 16개의 상관 요소의 세트가 도출되며, 다음으로 16개의 상관 요소의 세트에 제2 16×16 변환 행렬을 적용함으로써 16개의 변환된 상관 요소의 세트가 도출된다. 제1 16×16 변환 행렬은 1D 상관 변환과 관련될 수 있고, 제2 16×16 변환 행렬은 2D 상관 변환과 관련될 수 있다.
임의의 일 실시예와 관련하여 설명된 임의의 특징은 단독으로, 또는 설명된 다른 특징들과 조합하여 사용될 수 있고, 실시예들 중 임의의 다른 것, 또는 실시예들 중 임의의 다른 것의 임의의 조합의 하나 이상의 특징과 함께 사용될 수 있음이 이해되어야 한다. 또한, 첨부된 청구항들에 정의된 본 발명의 범위를 벗어나지 않으면서, 위에서 설명된 등가물들 및 수정들이 이용될 수 있다.

Claims (58)

  1. 장치로서,
    비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 상기 비교적 높은 품질 레벨에서의 상기 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능한 제1 복수의 잔차 요소를 획득하고 - 상기 제2 표현의 상기 제1 부분은 비교적 낮은 품질 레벨에서의 상기 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능함 -;
    상기 신호의 상기 제1 표현의 상이한 제2 부분을, 상기 신호의 상기 제2 표현의 상이한 제2 부분을 사용하여 재구성하는 데 사용가능한 제2 복수의 잔차 요소를 획득하고 - 상기 제2 표현의 상기 제2 부분은 상기 비교적 낮은 품질 레벨에서의 상기 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능함 -; 및
    적어도 하나의 상관 요소를 생성하기 위해, 상기 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 상기 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반하는 적어도 하나의 변환 동작을 수행하도록 - 상기 적어도 하나의 상관 요소는 상기 제1 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소와 상기 제2 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존함 -
    구성되고,
    상기 장치는 상기 적어도 하나의 상관 요소가 인코딩되기 전에 상기 적어도 하나의 변환 동작을 수행하도록 구성되는, 장치.
  2. 제1항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 방향성 분해 동작(directional decomposition operation)을 포함하는, 장치.
  3. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 수학 연산을 포함하는, 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 행렬 곱셈 연산을 포함하는, 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함하는, 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 장치는 상기 적어도 하나의 변환 동작을 수행함에 있어서 복수의 상관 요소를 생성하도록 구성되는, 장치.
  7. 제6항에 있어서, 상기 장치는 상기 복수의 상관 요소의 적어도 일부가 인코딩되지 않을 것임을 나타내기 위해 데이터를 생성하도록 구성되는, 장치.
  8. 제6항 또는 제7항에 있어서, 상기 복수의 상관 요소 내의 상관 요소들 각각은 인코딩 파라미터에 연관되는, 장치.
  9. 제8항에 있어서, 상기 장치는 상기 복수의 상관 요소 내의 상기 상관 요소들 각각에 대한 상기 인코딩 파라미터를 결정하도록 구성되는, 장치.
  10. 제8항 또는 제9항에 있어서, 상기 장치는 상기 복수의 상관 요소 내의 상기 상관 요소들의 위치에 기초하여 상기 복수의 상관 요소 내의 상기 상관 요소들 각각에 대한 상기 인코딩 파라미터를 결정하도록 구성되는, 장치.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 복수의 상관 요소 내의 인코딩 파라미터의 값은 상기 인코딩 파라미터에 연관된 상관 요소의 값에 독립적 인, 장치.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들의 적어도 일부는 상기 복수의 상관 요소 내의 상기 상관 요소들 중 상이한 상관 요소들에 대해 상이한, 장치.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들의 적어도 일부는 상기 복수의 상관 요소 내의 상기 상관 요소들 중 상이한 상관 요소들에 대해 동일한, 장치.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들의 적어도 일부는 상기 상관 요소들 사이의 지각적 중요도(perceptual importance)의 각각의 척도들(measures)을 나타내는, 장치.
  15. 제8항 내지 제14항 중 어느 한 항에 있어서, 복수의 인코딩 파라미터는 적어도 하나의 양자화 계수를 포함하는, 장치.
  16. 제8항 내지 제15항 중 어느 한 항에 있어서, 상기 장치는 상기 인코딩 파라미터들에 기초하여 상기 복수의 상관 요소를 인코딩하도록 구성되는, 장치.
  17. 제8항 내지 제16항 중 어느 한 항에 있어서, 상기 장치는 상기 인코딩 파라미터들을 포함하는 데이터를 출력하도록 구성되는, 장치.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 적어도 하나의 상관 요소가 인코딩되는 것은, 상기 적어도 하나의 상관 요소에 대해 양자화가 수행되는 것을 포함하는, 장치.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서, 상기 장치는:
    상관 요소들의 제1 세트를 생성하기 위해, 상기 제1 복수의 잔차 요소를 수반하는 변환을 수행하는 것 - 상기 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소는 상기 제1 복수의 잔차 요소의 적어도 일부 사이의 상관의 정도에 의존함 -; 및
    상관 요소들의 제2 세트를 생성하기 위해, 상기 제2 복수의 잔차 요소를 수반하는 변환을 수행하는 것 - 상기 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소는 상기 제2 복수의 잔차 요소의 적어도 일부 사이의 상관의 정도에 의존함 -
    에 의해 상기 적어도 하나의 변환 동작을 수행하도록 구성되는, 장치.
  20. 제19항에 있어서, 상기 상관 요소들의 제1 및 제2 세트들 내의 상이한 상관 요소들은 상이한 유형들의 상관을 나타내며, 상기 장치는 상기 상관 요소들의 제1 및 제2 세트들 내에서 동일한 유형의 상관 요소들을 함께 그룹화하도록 구성되는, 장치.
  21. 제19항 또는 제20항에 있어서, 상기 장치는 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소를 생성하기 위해, 상기 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 및 상기 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소를 수반하는 변환을 수행함으로써 상기 적어도 하나의 변환 동작을 수행하도록 구성되고, 상기 상관 요소들의 제3 세트 내의 상기 적어도 하나의 상관 요소는 상기 상관 요소들의 제1 세트 내의 상기 적어도 하나의 상관 요소와 상기 상관 요소들의 제2 세트 내의 상기 적어도 하나의 상관 요소 사이의 상관의 정도에 의존하는, 장치.
  22. 제21항에 있어서, 상기 장치는 상기 상관 요소들의 제3 세트 내의 적어도 하나의 다른 상관 요소를 생성하기 위해, 상기 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 및 상기 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소를 수반하는 상이한 변환을 수행함으로써 상기 적어도 하나의 변환 동작을 수행하도록 구성되고, 상기 상관 요소들의 제3 세트 내의 상기 적어도 하나의 다른 상관 요소는 상기 상관 요소들의 제1 세트 내의 상기 적어도 하나의 상관 요소와 상기 상관 요소들의 제2 세트 내의 상기 적어도 하나의 상관 요소 사이의 상관의 정도에 의존하는, 장치.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 상기 제1 복수의 잔차 요소 내의 잔차 요소들 전부 및 상기 제2 복수의 잔차 요소 내의 잔차 요소들 전부를 수반하는, 장치.
  24. 장치로서,
    제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 생성하기 위해 적어도 하나의 상관 요소를 수반하는 적어도 하나의 변환 동작을 수행하고 - 상기 적어도 하나의 상관 요소는 상기 제1 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소와 상기 제2 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존하고, 상기 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 상기 비교적 높은 품질 레벨에서의 상기 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능하고, 상기 제2 복수의 잔차 요소는 상기 신호의 상기 제1 표현의 상이한 제2 부분을, 상기 신호의 상기 제2 표현의 상이한 제2 부분을 사용하여 재구성하는 데 사용가능함 -;
    비교적 낮은 품질 레벨에서의 상기 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 상기 제2 표현의 상기 제1 부분을 도출하고;
    상기 비교적 낮은 품질 레벨에서의 상기 신호의 상기 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 상기 제2 표현의 상기 제2 부분을 도출하고;
    출력 데이터를 생성하기 위해, 적어도 상기 제1 복수의 잔차 요소, 상기 제2 복수의 잔차 요소, 상기 제2 표현의 상기 제1 부분, 및 상기 제2 표현의 상기 제2 부분을 사용하도록
    구성되고,
    상기 장치는 상기 적어도 하나의 상관 요소가 디코딩된 후에 상기 적어도 하나의 변환 동작을 수행하도록 구성되는, 장치.
  25. 제24항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 역방향성 구성 동작(inverse directional composition operation)을 포함하는, 장치.
  26. 제24항 또는 제25항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 수학 연산을 포함하는, 장치.
  27. 제24항 내지 제26항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 행렬 곱셈 연산을 포함하는, 장치.
  28. 제24항 내지 제27항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함하는, 장치.
  29. 방법으로서,
    비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 상기 비교적 높은 품질 레벨에서의 상기 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능한 제1 복수의 잔차 요소를 획득하는 단계 - 상기 제2 표현의 상기 제1 부분은 비교적 낮은 품질 레벨에서의 상기 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 도출가능함 -;
    상기 신호의 상기 제1 표현의 상이한 제2 부분을, 상기 신호의 상기 제2 표현의 상이한 제2 부분을 사용하여 재구성하는 데 사용가능한 제2 복수의 잔차 요소를 획득하는 단계 - 상기 제2 표현의 상기 제2 부분은 상기 비교적 낮은 품질 레벨에서의 상기 신호의 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 도출가능함 -; 및
    적어도 하나의 상관 요소를 생성하기 위해, 상기 제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 상기 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 수반하는 적어도 하나의 변환 동작을 수행하는 단계 - 상기 적어도 하나의 상관 요소는 상기 제1 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소와 상기 제2 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존함 -
    를 포함하고,
    상기 적어도 하나의 변환 동작은 상기 적어도 하나의 상관 요소가 인코딩되기 전에 수행되는, 방법.
  30. 제29항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 방향성 분해 동작을 포함하는, 방법.
  31. 제29항 또는 제30항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 수학 연산을 포함하는, 방법.
  32. 제29항 내지 제31항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 행렬 곱셈 연산을 포함하는, 방법.
  33. 제29항 내지 제32항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함하는, 방법.
  34. 제29항 내지 제33항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작을 수행하는 단계는 복수의 상관 요소를 생성하는 단계를 포함하는, 방법.
  35. 제34항에 있어서, 상기 장치는 상기 복수의 상관 요소의 적어도 일부가 인코딩되지 않을 것임을 나타내기 위해 데이터를 생성하도록 구성되는, 방법.
  36. 제34항 또는 제35항에 있어서, 상기 복수의 상관 요소 내의 상관 요소들 각각은 인코딩 파라미터에 연관되는, 방법.
  37. 제36항에 있어서, 상기 복수의 상관 요소 내의 상기 상관 요소들 각각에 대한 상기 인코딩 파라미터를 결정하는 단계를 포함하는, 방법.
  38. 제36항 또는 제37항에 있어서, 상기 복수의 상관 요소 내의 상기 상관 요소들의 위치에 기초하여 상기 복수의 상관 요소 내의 상기 상관 요소들 각각에 대한 상기 인코딩 파라미터를 결정하는 단계를 포함하는, 방법.
  39. 제36항 내지 제38항 중 어느 한 항에 있어서, 상기 복수의 상관 요소 내의 인코딩 파라미터의 값은 상기 인코딩 파라미터에 연관된 상관 요소의 값에 독립적 인, 방법.
  40. 제36항 내지 제39항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들의 적어도 일부는 상기 복수의 상관 요소 내의 상기 상관 요소들 중 상이한 상관 요소들에 대해 상이한, 방법.
  41. 제36항 내지 제40항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들의 적어도 일부는 상기 복수의 상관 요소 내의 상기 상관 요소들 중 상이한 상관 요소들에 대해 동일한, 방법.
  42. 제36항 내지 제41항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들의 적어도 일부는 상기 상관 요소들 사이의 지각적 중요도의 각각의 척도들을 나타내는, 방법.
  43. 제36항 내지 제42항 중 어느 한 항에 있어서, 복수의 인코딩 파라미터는 적어도 하나의 양자화 계수를 포함하는, 방법.
  44. 제36항 내지 제43항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들에 기초하여 상기 복수의 상관 요소를 인코딩하는 단계를 포함하는, 방법.
  45. 제36항 내지 제44항 중 어느 한 항에 있어서, 상기 인코딩 파라미터들을 포함하는 데이터를 출력하는 단계를 포함하는, 방법.
  46. 제29항 내지 제45항 중 어느 한 항에 있어서, 상기 적어도 하나의 상관 요소가 인코딩되는 것은, 상기 적어도 하나의 상관 요소에 대해 양자화가 수행되는 것을 포함하는, 방법.
  47. 제29항 내지 제46항 중 어느 한 항에 있어서,
    상기 적어도 하나의 변환 동작을 수행하는 단계는,
    상관 요소들의 제1 세트를 생성하기 위해, 상기 제1 복수의 잔차 요소를 수반하는 변환을 수행하는 단계 - 상기 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소는 상기 제1 복수의 잔차 요소의 적어도 일부 사이의 상관의 정도에 의존함 -; 및
    상관 요소들의 제2 세트를 생성하기 위해, 상기 제2 복수의 잔차 요소를 수반하는 변환을 수행하는 단계 - 상기 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소는 상기 제2 복수의 잔차 요소의 적어도 일부 사이의 상관의 정도에 의존함 -
    를 포함하는, 방법.
  48. 제47항에 있어서, 상기 상관 요소들의 제1 및 제2 세트들 내의 상이한 상관 요소들은 상이한 유형들의 상관을 나타내며, 상기 방법은 상기 상관 요소들의 제1 및 제2 세트들 내에서 동일한 유형의 상관 요소들을 함께 그룹화하는 단계를 포함하는, 방법.
  49. 제47항 또는 제48항에 있어서, 상기 적어도 하나의 변환 동작을 수행하는 단계는 상관 요소들의 제3 세트 내의 적어도 하나의 상관 요소를 생성하기 위해, 상기 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 및 상기 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소를 수반하는 변환을 수행하는 단계를 포함하고, 상기 상관 요소들의 제3 세트 내의 상기 적어도 하나의 상관 요소는 상기 상관 요소들의 제1 세트 내의 상기 적어도 하나의 상관 요소와 상기 상관 요소들의 제2 세트 내의 상기 적어도 하나의 상관 요소 사이의 상관의 정도에 의존하는, 방법.
  50. 제49항에 있어서, 상기 적어도 하나의 변환 동작을 수행하는 단계는 상기 상관 요소들의 제3 세트 내의 적어도 하나의 다른 상관 요소를 생성하기 위해, 상기 상관 요소들의 제1 세트 내의 적어도 하나의 상관 요소 및 상기 상관 요소들의 제2 세트 내의 적어도 하나의 상관 요소를 수반하는 상이한 변환을 수행하는 단계를 포함하고, 상기 상관 요소들의 제3 세트 내의 상기 적어도 하나의 다른 상관 요소는 상기 상관 요소들의 제1 세트 내의 상기 적어도 하나의 상관 요소와 상기 상관 요소들의 제2 세트 내의 상기 적어도 하나의 상관 요소 사이의 상관의 정도에 의존하는, 방법.
  51. 제29항 내지 제50항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 상기 제1 복수의 잔차 요소 내의 잔차 요소들 전부 및 상기 제2 복수의 잔차 요소 내의 잔차 요소들 전부를 수반하는, 방법.
  52. 방법으로서,
    제1 복수의 잔차 요소 내의 적어도 하나의 잔차 요소 및 제2 복수의 잔차 요소 내의 적어도 하나의 잔차 요소를 생성하기 위해 적어도 하나의 상관 요소를 수반하는 적어도 하나의 변환 동작을 수행하는 단계 - 상기 적어도 하나의 상관 요소는 상기 제1 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소와 상기 제2 복수의 잔차 요소 내의 상기 적어도 하나의 잔차 요소 사이의 상관의 정도에 의존하고, 상기 제1 복수의 잔차 요소는 비교적 높은 품질 레벨에서의 신호의 제1 표현의 제1 부분을, 상기 비교적 높은 품질 레벨에서의 상기 신호의 제2 표현의 제1 부분을 사용하여 재구성하는 데 사용가능하고, 상기 제2 복수의 잔차 요소는 상기 신호의 상기 제1 표현의 상이한 제2 부분을, 상기 신호의 상기 제2 표현의 상이한 제2 부분을 사용하여 재구성하는 데 사용가능함 -;
    비교적 낮은 품질 레벨에서의 상기 신호의 표현 내의 하나 이상의 신호 요소의 제1 세트로부터 상기 제2 표현의 상기 제1 부분을 도출하는 단계;
    상기 비교적 낮은 품질 레벨에서의 상기 신호의 상기 표현 내의 하나 이상의 신호 요소의 상이한 제2 세트로부터 상기 제2 표현의 상기 제2 부분을 도출하는 단계; 및
    출력 데이터를 생성하기 위해, 적어도 상기 제1 복수의 잔차 요소, 상기 복수의 제2 잔차 요소, 상기 제2 표현의 상기 제1 부분, 및 상기 제2 표현의 상기 제2 부분을 사용하는 단계
    를 포함하고,
    상기 적어도 하나의 변환 동작은 상기 적어도 하나의 상관 요소가 디코딩된 후에 수행되는, 방법.
  53. 제52항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 역방향성 구성 동작을 포함하는, 방법.
  54. 제52항 또는 제53항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 수학 연산을 포함하는, 방법.
  55. 제52항 내지 제54항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 행렬 곱셈 연산을 포함하는, 방법.
  56. 제52항 내지 제55항 중 어느 한 항에 있어서, 상기 적어도 하나의 변환 동작은 적어도 하나의 선형 결합 동작을 포함하는, 방법.
  57. 실행 시에, 장치가 제29항 내지 제56항 중 어느 한 항에 따른 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램.
  58. 제57항에 따른 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능한 매체.
KR1020197009913A 2016-09-08 2017-09-08 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체 KR102463623B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1615266.2 2016-09-08
GB1615266.2A GB2554065B (en) 2016-09-08 2016-09-08 Data processing apparatuses, methods, computer programs and computer-readable media
PCT/GB2017/052632 WO2018046941A1 (en) 2016-09-08 2017-09-08 Data processing apparatuses, methods, computer programs and computer-readable media

Publications (2)

Publication Number Publication Date
KR20190084246A true KR20190084246A (ko) 2019-07-16
KR102463623B1 KR102463623B1 (ko) 2022-11-03

Family

ID=57234661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009913A KR102463623B1 (ko) 2016-09-08 2017-09-08 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체

Country Status (6)

Country Link
US (2) US10992959B2 (ko)
EP (1) EP3510777A1 (ko)
KR (1) KR102463623B1 (ko)
CN (1) CN109923864B (ko)
GB (1) GB2554065B (ko)
WO (1) WO2018046941A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US20220103907A1 (en) * 2020-09-25 2022-03-31 Advanced Micro Devices, Inc. Combined codec buffer management
GB2621248A (en) 2020-11-27 2024-02-07 V Nova Int Ltd Video encoding using pre-processing
GB2601368B (en) * 2020-11-27 2023-09-20 V Nova Int Ltd Video decoding using post-processing control
GB2614054A (en) 2021-12-17 2023-06-28 V Nova Int Ltd Digital image processing
GB2614763B (en) 2022-03-29 2024-05-01 V Nova Int Ltd Upsampling filter for applying a predicted average modification
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
GB2623144A (en) * 2023-03-30 2024-04-10 V Nova Int Ltd Hardware implementation of image coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0739140A2 (en) * 1995-04-18 1996-10-23 Sun Microsystems, Inc. Encoder for an end-to-end scalable video delivery system
KR20150014494A (ko) * 2012-05-14 2015-02-06 루카 로사토 티어드 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR101271069B1 (ko) * 2005-03-30 2013-06-04 돌비 인터네셔널 에이비 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US8160149B2 (en) * 2007-04-03 2012-04-17 Gary Demos Flowfield motion compensation for video compression
KR101370286B1 (ko) * 2007-04-06 2014-03-06 삼성전자주식회사 레지듀얼 블록의 변형을 이용한 영상 부호화, 복호화 방법및 장치
DE602007009730D1 (de) * 2007-06-29 2010-11-18 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
WO2011010959A1 (en) * 2009-07-23 2011-01-27 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for encoding and decoding of images
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
WO2013040287A1 (en) * 2011-09-15 2013-03-21 Vid Scale, Inc. Systems and methods for spatial prediction
WO2014055826A2 (en) * 2012-10-05 2014-04-10 Huawei Technologies Co., Ltd. Improved architecture for hybrid video codec
JP6033725B2 (ja) * 2013-03-28 2016-11-30 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP6457488B2 (ja) * 2013-04-15 2019-01-23 ロッサト、ルカ ハイブリッド上位互換性のあるデータストリームをデコードするための方法
US9700284B2 (en) * 2013-11-13 2017-07-11 Siemens Medical Solutions Usa, Inc. Three-dimensional ultrasound reconstruction with confidence information
US9986248B2 (en) * 2015-01-29 2018-05-29 Qualcomm Incorporated Palette mode coding for video coding
US9792664B2 (en) * 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0739140A2 (en) * 1995-04-18 1996-10-23 Sun Microsystems, Inc. Encoder for an end-to-end scalable video delivery system
KR20150014494A (ko) * 2012-05-14 2015-02-06 루카 로사토 티어드 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제

Also Published As

Publication number Publication date
GB2554065A (en) 2018-03-28
US20210314615A1 (en) 2021-10-07
US11962805B2 (en) 2024-04-16
WO2018046941A1 (en) 2018-03-15
CN109923864B (zh) 2023-12-19
CN109923864A (zh) 2019-06-21
EP3510777A1 (en) 2019-07-17
GB2554065B (en) 2022-02-23
GB201615266D0 (en) 2016-10-26
KR102463623B1 (ko) 2022-11-03
US10992959B2 (en) 2021-04-27
US20190313122A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
KR102463623B1 (ko) 데이터 처리 장치들, 방법들, 컴퓨터 프로그램들, 및 컴퓨터 판독가능한 매체
KR102492838B1 (ko) 더 높은 계층과 더 낮은 층 사이의 차이를 이용한 비디오 압축
CN104620581A (zh) 分层时间层级中的基于时间的和/或多维信号的解码和重构
US11856210B2 (en) Apparatuses, methods, computer programs and computer-readable media
JP6042899B2 (ja) 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体
US20210185320A1 (en) Processing signal data using an upsampling adjuster
EP3942816A1 (en) Modified upsampling for video coding technology
US20240040160A1 (en) Video encoding using pre-processing
WO2019004749A1 (ko) 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
EP3022845A1 (en) Encoder and decoder, and method of operation
EP4252426A2 (en) Video decoding using post-processing control
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
US20210385501A1 (en) Weighted downsampling and weighted transformations for signal coding
KR20230022085A (ko) Ai 기반의 영상의 부호화 및 복호화 장치, 및 이에 의한 방법
GB2597859A (en) Data processing apparatuses, methods, computer programs and computer-readable media

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant