KR102094557B1 - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102094557B1
KR102094557B1 KR1020147015511A KR20147015511A KR102094557B1 KR 102094557 B1 KR102094557 B1 KR 102094557B1 KR 1020147015511 A KR1020147015511 A KR 1020147015511A KR 20147015511 A KR20147015511 A KR 20147015511A KR 102094557 B1 KR102094557 B1 KR 102094557B1
Authority
KR
South Korea
Prior art keywords
unit
matrix
quantization
quantization matrix
size
Prior art date
Application number
KR1020147015511A
Other languages
English (en)
Other versions
KR20140109875A (ko
Inventor
준이치 다나카
오지 나카가미
요시타카 모리가미
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140109875A publication Critical patent/KR20140109875A/ko
Application granted granted Critical
Publication of KR102094557B1 publication Critical patent/KR102094557B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은, 양자화 행렬의 부호량의 증대를 억제할 수 있도록 하는 화상 처리 장치 및 방법에 관한 것이다. 본 발명의 화상 처리 장치는, 전송 시에 허용되는 최대 사이즈인 전송 사이즈 이하로 제한된 양자화 행렬을, 상기 전송 사이즈로부터 양자화 또는 역양자화의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트하는 업컨버트부를 구비한다. 본 발명은, 예를 들어, 화상 데이터를 처리하는 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 발명은, 화상 처리 장치 및 방법에 관한 것이다.
영상 부호화 방식의 표준 사양의 하나인 H.264/AVC(Advanced Video Coding)에서는, High Profile 이상의 프로파일에 있어서, 화상 데이터의 양자화 시에, 직교 변환 계수의 성분마다 서로 다른 양자화 스텝을 이용할 수 있다. 직교 변환 계수의 성분마다의 양자화 스텝은, 직교 변환의 단위와 동등한 사이즈로 정의되는 양자화 행렬('스케일링 리스트'라고도 함) 및 기준의 스텝 값에 기초하여 설정될 수 있다.
예를 들어, 인트라 예측 모드에 있어서 변환 단위의 사이즈가 4×4인 경우, 인터 예측 모드에 있어서 변환 단위의 사이즈가 4×4인 경우, 인트라 예측 모드에 있어서 변환 단위의 사이즈가 8×8인 경우, 및 인터 예측 모드에 있어서 변환 단위의 사이즈가 8×8인 경우의 각각에 대하여, 양자화 행렬의 기정값(旣定値)이 정해져 있다. 또한, 유저는, 시퀀스 파라미터 세트 또는 픽처 파라미터 세트에 있어서, 기정값과는 다른 고유의 양자화 행렬을 지정할 수 있다. 양자화 행렬이 사용되지 않은 경우에는, 양자화 시에 사용되는 양자화 스텝은, 모든 성분에 대하여 동등한 값으로 된다.
H.264/AVC에 이어지는 차세대 영상 부호화 방식으로서 표준화가 진행되고 있는 HEVC(High Efficiency Video Coding)에서는, 종래의 매크로 블록에 상당하는 부호화 단위로서 CU(Coding Unit)라고 하는 개념이 도입되어 있다(예를 들어, 비특허문헌 1 참조). 부호화 단위의 사이즈 범위는, 시퀀스 파라미터 세트에 있어서, LCU(Largest Coding Unit) 및 SCU(Smallest Coding Unit)라고 하는 2의 멱승 값의 세트로 지정된다. 그리고, split_flag를 이용하여, LCU 및 SCU로 지정된 범위 내의 구체적인 부호화 단위의 사이즈가 특정된다.
HEVC에서는, 하나의 부호화 단위는, 하나 이상의 직교 변환의 단위, 즉 하나 이상의 변환 단위(TU: Transform Unit)로 분할될 수 있다. 변환 단위의 사이즈로서는, 4×4, 8×8, 16×16 및 32×32 중 어느 하나가 이용 가능하다. 따라서, 양자화 행렬도 또한, 이들 변환 단위의 후보 사이즈마다 지정될 수 있다.
그런데, H.264/AVC에서는, 1 픽처 내에서 하나의 변환 단위의 사이즈에 대하여 하나의 양자화 행렬만을 지정하는 것이 가능하였다. 이에 반하여, 1 픽처 내에서 하나의 변환 단위의 사이즈에 대하여 복수의 양자화 행렬의 후보를 지정하고, RD(Rate-Distortion)의 최적화의 관점에서 블록마다 적응적으로 양자화 행렬을 선택하는 것이 제안되어 있다(예를 들어, 비특허문헌 2 참조).
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010 VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 30th Meeting: Hangzhou, China, 23-24 October, 2006
그러나, 변환 단위의 사이즈가 커지면, 대응하는 양자화 행렬의 사이즈도 커져서, 전송하는 양자화 매트릭스의 부호량도 커진다. 또한, 변환 단위의 사이즈가 커지면, 오버헤드는 커지고, 양자화 행렬을 전환하는 것이 압축 효율의 관점에서 문제가 될 우려가 있었다.
본 발명은, 이러한 상황을 감안하여 제안된 것으로, 양자화 행렬의 부호량의 증가를 억제할 수 있도록 하는 것을 목적으로 한다.
본 발명의 일 측면은, 화상을 부호화 처리한 부호화 데이터와, 전송 시에 허용되는 최대 사이즈인 전송 사이즈 이하로 제한된 양자화 행렬을 수취하는 수취부와, 상기 수취부에 의해 수취된 부호화 데이터를 복호 처리하여 양자화 데이터를 생성하는 복호부와, 상기 수취부에 의해 수취된 양자화 행렬을, 상기 전송 사이즈로부터 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트하는 업컨버트부와, 상기 업컨버트부에 의해 업컨버트된 양자화 행렬을 이용하여, 상기 복호부에 의해 생성된 양자화 데이터를 역양자화하는 역양자화부를 구비하는 화상 처리 장치이다.
상기 수취부에 의해 수취된 양자화 행렬은, 상기 전송 사이즈로서 디폴트 양자화 행렬 사이즈와 동일한 사이즈이도록 할 수 있다.
상기 수취부에 의해 수취된 양자화 행렬은, 상기 전송 사이즈로서 디폴트 양자화 행렬의 최대 사이즈와 동일한 사이즈이도록 할 수 있다.
상기 전송 사이즈는 8×8이며, 상기 수취부에 의해 수취된 양자화 행렬은 8×8 사이즈이도록 할 수 있다.
상기 업컨버트부는, 상기 수취부에 의해 수취된 양자화 행렬의 행렬 요소에 대하여 보간 처리를 행함으로써, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 업컨버트할 수 있다.
상기 업컨버트부는, 상기 수취부에 의해 수취된 양자화 행렬의 행렬 요소에 대하여 최근방 보간 처리를 행함으로써, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 업컨버트할 수 있다.
상기 전송 사이즈는 8×8이며, 상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 최근방 보간 처리를 행함으로써, 16×16 사이즈의 양자화 행렬로 업컨버트할 수 있다.
상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 최근방 보간 처리를 행함으로써, 32×32 사이즈의 양자화 행렬로 업컨버트할 수 있다.
상기 업컨버트부는, 상기 전송 사이즈 이하로 제한된 정방(正方)의 양자화 행렬의 행렬 요소에 대하여 보간 처리를 행함으로써, 비정방(非正方)의 양자화 행렬로 업컨버트할 수 있다.
상기 전송 사이즈는 8×8이며, 상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 보간 처리를 행함으로써, 8×32 사이즈의 양자화 행렬 또는 32×8 사이즈의 양자화 행렬로 업컨버트할 수 있다.
상기 전송 사이즈는 8×8이며, 상기 업컨버트부는, 4×4 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 보간 처리를 행함으로써, 4×16 사이즈의 양자화 행렬 또는 16×4 사이즈의 양자화 행렬로 업컨버트할 수 있다.
상기 전송 사이즈는 8×8이며, 상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 보간 처리를 행함으로써, 2×32 사이즈의 양자화 행렬, 32×2 사이즈의 양자화 행렬, 1×16 사이즈의 양자화 행렬, 또는 16×1 사이즈의 양자화 행렬로 업컨버트할 수 있다.
복호 처리를 할 때의 처리 단위인 코딩 유닛과 변환 처리를 할 때의 처리 단위인 트랜스폼 유닛이 계층 구조를 갖고, 상기 복호부는, 상기 부호화 데이터를, 계층 구조를 갖는 단위로 복호 처리하여, 상기 업컨버트부는, 상기 수취부에 의해 수취된 양자화 행렬을, 상기 전송 사이즈로부터 역양자화를 행하는 처리 단위인 트랜스폼 유닛의 사이즈로 업컨버트할 수 있다.
상기 양자화 행렬은, 역양자화할 때의 처리 단위인 블록 사이즈에 따라서 행렬 요소가 서로 다른 양자화 행렬로서 설정되어 있으며, 상기 수취부는, 역양자화할 때의 처리 단위인 블록 사이즈에 따라서 행렬 요소가 서로 다른 양자화 행렬을 수취하고, 상기 업컨버트부는, 역양자화할 때의 처리 단위인 블록 사이즈에 따라서 행렬 요소가 서로 다른 양자화 행렬을 이용하여, 상기 수취부에 의해 수취된 양자화 행렬을 업컨버트할 수 있다.
상기 전송 사이즈는 8×8이며, 상기 업컨버트부는, 역양자화할 때의 처리 단위인 블록 사이즈가 16×16인 경우에, 제1 양자화 행렬을 업컨버트하고, 역양자화할 때의 처리 단위인 블록 사이즈가 32×32인 경우에, 상기 제1 양자화 행렬과 행렬 요소가 서로 다른 제2 양자화 행렬을 업컨버트할 수 있다.
본 발명의 일 측면은, 또한, 화상 처리 장치의 화상 처리 방법으로서, 상기 화상 처리 장치가, 화상을 부호화 처리한 부호화 데이터와, 전송 시에 허용되는 최대 사이즈인 전송 사이즈 이하로 제한된 양자화 행렬을 수취하고, 수취된 부호화 데이터를 복호 처리하여 양자화 데이터를 생성하고, 수취된 양자화 행렬을, 상기 전송 사이즈로부터 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트하고, 업컨버트된 양자화 행렬을 이용하여, 생성된 양자화 데이터를 역양자화하는 화상 처리 방법이다.
본 발명의 다른 측면은, 전송 시에 허용되는 최대 사이즈인 전송 사이즈로부터, 화상을 양자화한 양자화 데이터를 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트할 때 이용하는 양자화 행렬을 설정하는 설정부와, 상기 설정부에 의해 설정된 양자화 행렬을 이용하여, 상기 화상을 양자화하여 양자화 데이터를 생성하는 양자화부와, 상기 양자화부에 의해 생성된 양자화 데이터를 부호화 처리하여, 부호화 데이터를 생성하는 부호화부와, 상기 부호화부에 의해 생성된 부호화 데이터와, 상기 설정부에 의해 설정된, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 전송하는 전송부를 구비하는 화상 처리 장치이다.
상기 전송 사이즈는 8×8이며, 상기 설정부에 의해 설정되는 양자화 행렬은 8×8이도록 할 수 있다.
상기 양자화 행렬은 8×8 사이즈로부터 16×16 사이즈 또는 32×32 사이즈로 업컨버트할 때 이용하는 양자화 행렬이도록 할 수 있다.
본 발명의 다른 측면은, 또한, 화상 처리 장치의 화상 처리 방법으로서, 상기 화상 처리 장치가, 전송 시에 허용되는 최대 사이즈인 전송 사이즈로부터, 화상을 양자화한 양자화 데이터를 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트할 때 이용하는 양자화 행렬을 설정하고, 설정된 양자화 행렬을 이용하여, 상기 화상을 양자화하여 양자화 데이터를 생성하고, 생성된 양자화 데이터를 부호화 처리하고, 부호화 데이터를 생성하고, 생성된 부호화 데이터와, 설정된, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 전송하는 화상 처리 방법이다.
본 발명의 일 측면에 있어서는, 화상을 부호화 처리한 부호화 데이터와, 전송 시에 허용되는 최대 사이즈인 전송 사이즈 이하로 제한된 양자화 행렬이 수취되고, 수취된 부호화 데이터가 복호 처리되어 양자화 데이터가 생성되고, 수취된 양자화 행렬이, 전송 사이즈로부터 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트되고, 업컨버트된 양자화 행렬이 이용되어, 생성된 양자화 데이터가 역양자화된다.
본 발명의 다른 측면에 있어서는, 전송 시에 허용되는 최대 사이즈인 전송 사이즈로부터, 화상을 양자화한 양자화 데이터를 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트할 때 이용하는 양자화 행렬이 설정되고, 설정된 양자화 행렬이 이용되어, 화상이 양자화되어 양자화 데이터가 생성되고, 생성된 양자화 데이터가 부호화 처리되어, 부호화 데이터가 생성되고, 생성된 부호화 데이터와, 설정된 전송 사이즈 이하로 제한된 양자화 행렬이 전송된다.
본 발명에 의하면, 화상을 처리할 수 있다. 특히, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
도 1은 화상 부호화 장치의 주된 구성예를 나타내는 블록도이다.
도 2는 직교 변환·양자화부의 주된 구성예를 나타내는 블록도이다.
도 3은 행렬 처리부의 주된 구성예를 나타내는 블록도이다.
도 4는 행렬 처리부의 주된 구성예를 나타내는 블록도이다.
도 5는 다운샘플의 예를 설명하는 도면이다.
도 6은 중복 부분을 삭제하는 모습의 예를 설명하는 도면이다.
도 7은 양자화 행렬 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 8은 신택스의 예를 나타내는 도면이다.
도 9는 신택스의 예를 나타내는 도면이다.
도 10은 신택스의 예를 나타내는 도면이다.
도 11은 신택스의 예를 나타내는 도면이다.
도 12는 신택스의 예를 나타내는 도면이다.
도 13은 신택스의 예를 나타내는 도면이다.
도 14는 양자화 스케일 설정 영역의 예를 나타내는 도면이다.
도 15는 양자화 스케일 설정 영역의 예를 나타내는 도면이다.
도 16은 화상 복호 장치의 주된 구성예를 나타내는 블록도이다.
도 17은 역양자화·역직교 변환부의 주된 구성예를 나타내는 블록도이다.
도 18은 행렬 생성부의 주된 구성예를 나타내는 블록도이다.
도 19는 행렬 생성부의 주된 구성예를 나타내는 블록도이다.
도 20은 최근방 보간 처리의 예를 설명하는 도면이다.
도 21은 행렬 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 22는 행렬 처리부의 다른 구성예를 나타내는 블록도이다.
도 23은 양자화 행렬 부호화 처리의 흐름의, 다른 예를 설명하는 흐름도이다.
도 24는 행렬 생성부의 다른 구성예를 나타내는 블록도이다.
도 25는 차분 행렬 전송의 모습의 예를 설명하는 도면이다.
도 26은 업컨버트의 모습의 예를 설명하는 도면이다.
도 27은 업컨버트의 모습의 예를 설명하는 도면이다.
도 28은 다시점 화상 부호화 방식의 예를 나타내는 도면이다.
도 29는 본 기술을 적용한 다시점 화상 부호화 장치의 주된 구성예를 나타내는 도면이다.
도 30은 본 기술을 적용한 다시점 화상 복호 장치의 주된 구성예를 나타내는 도면이다.
도 31은 계층 화상 부호화 방식의 예를 나타내는 도면이다.
도 32는 본 기술을 적용한 계층 화상 부호화 장치의 주된 구성예를 나타내는 도면이다.
도 33은 본 기술을 적용한 계층 화상 복호 장치의 주된 구성예를 나타내는 도면이다.
도 34는 컴퓨터의 주된 구성예를 나타내는 블록도이다.
도 35는 텔레비전 장치의 주된 구성예를 나타내는 블록도이다.
도 36은 모바일 단말기의 주된 구성예를 나타내는 블록도이다.
도 37은 기록 재생기의 주된 구성예를 나타내는 블록도이다.
도 38은 촬상 장치의 주된 구성예를 나타내는 블록도이다.
도 39는 스케일러블 부호화 이용의 일례를 나타내는 블록도이다.
도 40은 스케일러블 부호화 이용의 다른 예를 나타내는 블록도이다.
도 41은 스케일러블 부호화 이용의 또 다른 예를 나타내는 블록도이다.
이하, 본 발명을 실시하기 위한 형태(이하 '실시 형태'라 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(화상 부호화 장치, 화상 복호 장치)
2. 제2 실시 형태(화상 부호화 장치, 화상 복호 장치)
3. 제3 실시 형태(업컨버트)
4. 제4 실시 형태(다시점 화상 부호화·다시점 화상 복호 장치)
5. 제5 실시 형태(계층 화상 부호화·계층 화상 복호 장치)
6. 제6 실시 형태(컴퓨터)
7. 제7 실시 형태(텔레비전 수상기)
8. 제8 실시 형태(휴대전화기)
9. 제9 실시 형태(기록 재생 장치)
10. 제10 실시 형태(촬상 장치)
11. 스케일러블 부호화의 응용예
<1. 제1 실시 형태>
[1-1. 화상 부호화 장치]
도 1은, 본 발명의 일 실시 형태에 따른 화상 부호화 장치(10)의 구성의 일례를 나타내는 블록도이다. 도 1에 도시된 화상 부호화 장치(10)는, 입력된 화상 데이터를 부호화하고, 얻어진 부호화 데이터를 출력하는, 본 기술을 적용한 화상 처리 장치이다. 도 1을 참조하면, 화상 부호화 장치(10)는, A/D(Analogue to Digital) 변환부(11), 재배열 버퍼(12), 감산부(13), 직교 변환·양자화부(14), 가역 부호화부(16), 축적 버퍼(17), 레이트 제어부(18), 역양자화부(21), 역직교 변환부(22), 가산부(23), 디블로킹 필터(24), 프레임 메모리(25), 셀렉터(26), 인트라 예측부(30), 움직임 탐색부(40) 및 모드 선택부(50)를 구비한다.
A/D 변환부(11)는, 아날로그 형식으로 입력되는 화상 신호를 디지털 형식의 화상 데이터로 변환하고, 일련의 디지털 화상 데이터를 재배열 버퍼(12)로 출력한다.
재배열 버퍼(12)는, A/D 변환부(11)로부터 입력되는 일련의 화상 데이터에 포함되는 화상을 재배열한다. 재배열 버퍼(12)는, 부호화 처리에 관한 GOP(Group of Pictures) 구조에 따라서 화상을 재배열한 후, 재배열 후의 화상 데이터를 감산부(13), 인트라 예측부(30) 및 움직임 탐색부(40)로 출력한다.
감산부(13)에는, 재배열 버퍼(12)로부터 입력되는 화상 데이터, 및 후에 설명하는 모드 선택부(50)에 의해 선택되는 예측 화상 데이터가 공급된다. 감산부(13)는, 재배열 버퍼(12)로부터 입력되는 화상 데이터와 모드 선택부(50)로부터 입력되는 예측 화상 데이터와의 차분인 예측 오차 데이터를 산출하고, 산출한 예측 오차 데이터를 직교 변환·양자화부(14)로 출력한다.
직교 변환·양자화부(14)는, 감산부(13)로부터 입력되는 예측 오차 데이터에 대하여 직교 변환 및 양자화를 행하고, 양자화된 변환 계수 데이터(이하, '양자화 데이터'라고 함)를 가역 부호화부(16) 및 역양자화부(21)로 출력한다. 직교 변환·양자화부(14)로부터 출력되는 양자화 데이터의 비트 레이트는, 레이트 제어부(18)로부터의 레이트 제어 신호에 기초하여 제어된다. 직교 변환·양자화부(14)의 상세한 구성에 대하여, 후에 다시 설명한다.
가역 부호화부(16)에는, 직교 변환·양자화부(14)로부터 입력되는 양자화 데이터, 복호측에서 양자화 행렬을 생성하기 위한 정보와, 모드 선택부(50)에 의해 선택되는 인트라 예측 또는 인터 예측에 관한 정보가 공급된다. 인트라 예측에 관한 정보는, 예를 들어, 블록마다 최적의 인트라 예측 모드를 나타내는 예측 모드 정보를 포함할 수 있다. 또한, 인터 예측에 관한 정보는, 예를 들어, 블록마다의 움직임 벡터 예측을 위한 예측 모드 정보, 차분 움직임 벡터 정보, 및 참조 화상 정보 등을 포함할 수 있다. 또한, 복호측에서 양자화 행렬을 생성하기 위한 정보에는, 전송하는 양자화 행렬(혹은, 양자화 행렬과 그 예측 행렬과의 차분 행렬)의 최대 사이즈를 나타내는 식별 정보를 포함할 수 있다.
가역 부호화부(16)는, 양자화 데이터에 대하여 가역 부호화 처리를 행함으로써, 부호화 스트림을 생성한다. 가역 부호화부(16)에 의한 가역 부호화는, 예를 들어, 가변 길이 부호화 또는 산술 부호화 등이어도 된다. 또한, 가역 부호화부(16)는, 후에 상세히 설명하는 양자화 행렬을 생성하기 위한 정보를, 부호화 스트림(예를 들어 시퀀스 파라미터 세트, 픽처 파라미터 세트, 슬라이스 헤더 등) 내에 다중화한다. 또한, 가역 부호화부(16)는, 전술한 인트라 예측 또는 인터 예측에 관한 정보를, 부호화 스트림 내에 다중화한다. 그리고, 가역 부호화부(16)는, 생성된 부호화 스트림을 축적 버퍼(17)로 출력한다.
축적 버퍼(17)는, 가역 부호화부(16)로부터 입력되는 부호화 스트림을 반도체 메모리 등의 기억 매체를 이용하여 일시적으로 축적한다. 그리고, 축적 버퍼(17)는, 축적한 부호화 스트림을, 전송로(또는 화상 부호화 장치(10)로부터의 출력선)의 대역에 따른 레이트로 출력한다.
레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량을 감시한다. 그리고, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량에 따라서 레이트 제어 신호를 생성하고, 생성된 레이트 제어 신호를 직교 변환·양자화부(14)로 출력한다. 예를 들어, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량이 적을 때에는, 양자화 데이터의 비트 레이트를 저하시키기 위한 레이트 제어 신호를 생성한다. 또한, 예를 들어, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량이 충분히 클 때에는, 양자화 데이터의 비트 레이트를 높이기 위한 레이트 제어 신호를 생성한다.
역양자화부(21)는, 직교 변환·양자화부(14)로부터 입력되는 양자화 데이터에 대하여 역양자화 처리를 행한다. 그리고, 역양자화부(21)는, 역양자화 처리에 의해 취득되는 변환 계수 데이터를, 역직교 변환부(22)로 출력한다.
역직교 변환부(22)는, 역양자화부(21)로부터 입력되는 변환 계수 데이터에 대하여 역직교 변환 처리를 행함으로써, 예측 오차 데이터를 복원한다. 그리고, 역직교 변환부(22)는, 복원한 예측 오차 데이터를 가산부(23)로 출력한다.
가산부(23)는, 역직교 변환부(22)로부터 입력되는 복원된 예측 오차 데이터와 모드 선택부(50)로부터 입력되는 예측 화상 데이터를 가산함으로써, 복호 화상 데이터를 생성한다. 그리고, 가산부(23)는, 생성된 복호 화상 데이터를 디블로킹 필터(24) 및 프레임 메모리(25)로 출력한다.
디블로킹 필터(24)는, 화상의 부호화 시에 발생하는 블록 왜곡을 감소시키기 위한 필터링 처리를 행한다. 디블로킹 필터(24)는, 가산부(23)로부터 입력되는 복호 화상 데이터를 필터링함으로써 블록 왜곡을 제거하고, 필터링 후의 복호 화상 데이터를 프레임 메모리(25)로 출력한다.
프레임 메모리(25)는, 가산부(23)로부터 입력되는 복호 화상 데이터, 및 디블로킹 필터(24)로부터 입력되는 필터링 후의 복호 화상 데이터를, 기억 매체를 이용하여 기억한다.
셀렉터(26)는, 인트라 예측을 위해 사용되는 필터링 전의 복호 화상 데이터를 프레임 메모리(25)로부터 판독하고, 판독된 복호 화상 데이터를 참조 화상 데이터로서 인트라 예측부(30)에 공급한다. 또한, 셀렉터(26)는, 인터 예측을 위해 사용되는 필터링 후의 복호 화상 데이터를 프레임 메모리(25)로부터 판독하고, 판독된 복호 화상 데이터를 참조 화상 데이터로서 움직임 탐색부(40)에 공급한다.
인트라 예측부(30)는, 재배열 버퍼(12)로부터 입력되는 부호화 대상의 화상 데이터, 및 셀렉터(26)를 통해 공급되는 복호 화상 데이터(즉 참조 화상 데이터)에 기초하여, 각 인트라 예측 모드의 인트라 예측 처리를 행한다. 예를 들어, 인트라 예측부(30)는, 각 인트라 예측 모드에 의한 예측 결과를 소정의 비용 함수를 이용하여 평가한다. 그리고, 인트라 예측부(30)는, 비용 함수값이 최소가 되는 인트라 예측 모드, 즉 압축률이 가장 높아지는 인트라 예측 모드를, 최적의 인트라 예측 모드로서 선택한다. 또한, 인트라 예측부(30)는, 선택한 인트라 예측 모드의 예측 화상 데이터와 함께, 그 최적의 인트라 예측 모드를 나타내는 예측 모드 정보나 비용 함수값 등의 인트라 예측에 관한 정보를, 모드 선택부(50)로 출력한다.
움직임 탐색부(40)는, 재배열 버퍼(12)로부터 입력되는 부호화 대상의 화상 데이터, 및 셀렉터(26)를 통해 공급되는 복호 화상 데이터에 기초하여, 인터 예측 처리(프레임 간 예측 처리)를 행한다. 예를 들어, 움직임 탐색부(40)는, 각 예측 모드에 의한 예측 결과를 소정의 비용 함수를 이용하여 평가한다. 다음으로, 움직임 탐색부(40)는, 비용 함수값이 최소가 되는 예측 모드, 즉 압축률이 가장 높아지는 예측 모드를, 최적의 예측 모드로서 선택한다. 또한, 움직임 탐색부(40)는, 선택한 인터 예측 모드의 예측 화상 데이터와 함께, 그 최적의 인터 예측 모드를 나타내는 예측 모드 정보나 비용 함수값 등의 인터 예측에 관한 정보를, 모드 선택부(50)로 출력한다.
모드 선택부(50)는, 인트라 예측부(30)로부터 입력되는 인트라 예측에 관한 비용 함수값과 움직임 탐색부(40)로부터 입력되는 인터 예측에 관한 비용 함수값을 비교한다. 그리고, 모드 선택부(50)는, 인트라 예측 및 인터 예측 중 비용 함수값이 보다 적은 예측 방법을 선택한다. 모드 선택부(50)는, 인트라 예측을 선택한 경우, 인트라 예측에 관한 정보를 가역 부호화부(16)로 출력함과 함께, 예측 화상 데이터를 감산부(13) 및 가산부(23)로 출력한다. 또한, 모드 선택부(50)는, 인터 예측을 선택한 경우, 인터 예측에 관한 정보를 가역 부호화부(16)로 출력함과 함께, 예측 화상 데이터를 감산부(13) 및 가산부(23)로 출력한다.
[1-2. 직교 변환·양자화부의 구성예]
도 2는, 도 1에 도시한 화상 부호화 장치(10)의 직교 변환·양자화부(14)의 상세한 구성의 일례를 나타내는 블록도이다. 도 2를 참조하면, 직교 변환·양자화부(14)는, 선택부(110), 직교 변환부(120), 양자화부(130), 양자화 행렬 버퍼(140) 및 행렬 처리부(150)를 갖는다.
(1) 선택부
선택부(110)는, 사이즈가 서로 다른 복수의 변환 단위로부터, 부호화되는 화상 데이터의 직교 변환을 위해 사용되는 변환 단위(TU)를 선택한다. 선택부(110)에 의해 선택될 수 있는 변환 단위의 사이즈 후보는, 예를 들어, H.264/AVC(Advanced Video Coding)에서는 4×4 및 8×8을 포함하고, HEVC(High Efficiency Video Coding)에서는 4×4, 8×8, 16×16 및 32×32를 포함한다. 선택부(110)는, 예를 들어, 부호화되는 화상의 사이즈 혹은 화질, 또는, 장치의 성능 등에 따라서 어느 한쪽의 변환 단위를 선택해도 된다. 선택부(110)에 의한 변환 단위의 선택은, 장치를 개발하는 유저에 의해 핸드 튜닝되어도 된다. 그리고, 선택부(110)는, 선택한 변환 단위의 사이즈를 지정하는 정보를, 직교 변환부(120), 양자화부(130), 가역 부호화부(16) 및 역양자화부(21)로 출력한다.
(2) 직교 변환부
직교 변환부(120)는, 선택부(110)에 의해 선택된 변환 단위에서, 감산부(13)로부터 공급되는 화상 데이터(즉, 예측 오차 데이터)를 직교 변환한다. 직교 변환부(120)에 의해 실행되는 직교 변환은, 예를 들어, 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 카루넨 루베 변환 등이어도 된다. 그리고, 직교 변환부(120)는, 직교 변환 처리에 의해 취득되는 변환 계수 데이터를 양자화부(130)로 출력한다.
(3) 양자화부
양자화부(130)는, 선택부(110)에 의해 선택된 변환 단위에 대응하는 양자화 행렬을 이용하여, 직교 변환부(120)에 의해 생성된 변환 계수 데이터를 양자화한다. 또한, 양자화부(130)는, 레이트 제어부(18)로부터의 레이트 제어 신호에 기초하여 양자화 스텝을 전환함으로써, 출력되는 양자화 데이터의 비트 레이트를 변화시킨다.
또한, 양자화부(130)는, 선택부(110)에 의해 선택될 수 있는 복수의 변환 단위에 각각 대응하는 양자화 행렬의 세트를, 양자화 행렬 버퍼(140)에 기억시킨다. 예를 들어, HEVC와 같이 4×4, 8×8, 16×16 및 32×32라는 4종류의 사이즈의 변환 단위의 후보가 존재하는 경우, 이들 4종류의 사이즈에 각각 대응하는 4종류의 양자화 행렬의 세트가, 양자화 행렬 버퍼(140)에 의해 기억될 수 있다. 또한, 어떤 사이즈에 대하여 기정 양자화 행렬이 사용되는 경우, 기정 양자화 행렬이 사용되는 것(유저에 의해 정의된 양자화 행렬을 사용하지 않는 것)을 나타내는 플래그만이, 그 사이즈와 관련지어 양자화 행렬 버퍼(140)에 의해 기억되도록 해도 된다.
양자화부(130)에 의해 사용될 가능성이 있는 양자화 행렬의 세트는, 전형적으로는, 부호화 스트림의 시퀀스마다 설정될 수 있다. 또한, 양자화부(130)는, 시퀀스마다 설정한 양자화 행렬의 세트를, 픽처마다 갱신해도 된다. 이러한 양자화 행렬의 세트 설정 및 갱신을 제어하기 위한 정보는, 예를 들어, 시퀀스 파라미터 세트 및 픽처 파라미터 세트에 삽입될 수 있다.
(4) 양자화 행렬 버퍼
양자화 행렬 버퍼(140)는, 반도체 메모리 등의 기억 매체를 이용하여, 선택부(110)에 의해 선택될 수 있는 복수의 변환 단위에 각각 대응하는 양자화 행렬의 세트를 일시적으로 기억한다. 양자화 행렬 버퍼(140)에 의해 기억되는 양자화 행렬의 세트는, 다음에 설명하는 행렬 처리부(150)에 의한 처리 시에 참조된다.
(5) 행렬 처리부
행렬 처리부(150)는, 부호화 스트림의 시퀀스마다 및 픽처마다, 양자화 행렬 버퍼(140)에 기억되어 있는 양자화 행렬의 세트를 참조하고, 어떤 하나의 사이즈의 변환 단위에 대응하는 양자화 행렬로부터 다른 하나 이상의 사이즈의 변환 단위에 대응하는 양자화 행렬을 생성하기 위한 정보를 생성한다. 양자화 행렬의 생성의 기초로 되는 변환 단위의 사이즈는, 전형적으로는, 복수의 변환 단위의 사이즈 중 최소 사이즈이어도 된다. 즉, HEVC와 같이 4×4, 8×8, 16×16 및 32×32라는 4종류의 사이즈의 변환 단위의 후보가 존재하는 경우, 예를 들어 4×4의 양자화 행렬로부터 다른 사이즈의 양자화 행렬을 생성하기 위한 정보가 생성될 수 있다. 행렬 처리부(150)에 의해 생성되는 정보는, 예를 들어, 후에 설명하는 기초 행렬 정보 및 차분 행렬 정보를 포함할 수 있다. 그리고, 행렬 처리부(150)에 의해 생성된 정보는, 가역 부호화부(16)로 출력되고, 부호화 스트림의 헤더 내에 삽입될 수 있다.
또한, 본 명세서에서는, 주로 최소 사이즈의 양자화 행렬로부터 보다 큰 사이즈의 양자화 행렬이 생성되는 예에 대하여 설명한다. 그러나, 이러한 예에 한정되지 않으며, 최소가 아닌 사이즈의 양자화 행렬로부터, 더 작은 사이즈의 양자화 행렬, 및 보다 큰 사이즈의 양자화 행렬 중, 적어도 어느 한쪽이 생성되도록 해도 된다.
[1-3. 행렬 처리부의 상세한 구성예]
도 3은, 도 2에 도시한 직교 변환·양자화부(14)의 행렬 처리부(150)의 더 상세한 구성의 일례를 나타내는 블록도이다. 도 3을 참조하면, 행렬 처리부(150)는 예측부(152) 및 차분 연산부(154)를 포함한다.
(1) 예측부
예측부(152)는, 양자화 행렬 버퍼(140)에 기억되어 있는 양자화 행렬의 세트를 취득하고, 취득한 세트에 포함되는 제1 양자화 행렬로부터 보다 큰 사이즈의 제2 양자화 행렬을 예측한다(예측 행렬('예측 양자화 행렬'이라고도 칭함)을 생성함).
예측부(152)는, 4×4의 양자화 행렬 SL1로부터 예측 행렬 PSL2를 생성하면, 생성된 예측 행렬 PSL2를 차분 연산부(154)로 출력한다. 또한, 예측부(152)는, 예를 들어, 양자화 행렬의 세트에 포함되는 8×8의 양자화 행렬 SL2로부터 16×16의 예측 행렬 PSL3을 예측하고, 예측 행렬 PSL3을 차분 연산부(154)로 출력한다. 또한, 예측부(152)는, 양자화 행렬의 세트에 포함되는 16×16의 양자화 행렬 SL3으로부터 32×32의 예측 행렬 PSL4를 예측하고, 예측 행렬 PSL4를 차분 연산부(154)로 출력한다. 또한, 예측부(152)는, 전술한 예측 행렬 PSL2, PSL3 및 PSL4의 생성의 기초로 한 4×4의 양자화 행렬 SL1을 특정하는 기초 행렬 정보를, 가역 부호화부(16)로 출력한다.
(2) 차분 연산부
차분 연산부(154)는, 예측부(152)로부터 입력되는 예측 행렬 PSL2, PSL3 및 PSL4와 대응하는 양자화 행렬 SL2, SL3 및 SL4와의 차분('잔차'라고도 칭함)을 나타내는 차분 행렬('잔차 행렬'이라고도 칭함) DSL2, DSL3 및 DSL4를 산출한다.
그리고, 차분 연산부(154)는, 이들 차분 행렬 DSL2, DSL3 및 DSL4를 나타내는 차분 행렬 정보를 가역 부호화부(16)로 출력한다.
또한, 행렬 처리부(150)는, 어떤 사이즈에 대하여 기정 양자화 행렬이 사용되는 경우, 그 사이즈의 양자화 행렬의 예측과 차분 연산을 실행하지 않고, 기정 양자화 행렬이 사용되는 것을 나타내는 플래그만을, 대응하는 사이즈와 관련지어 가역 부호화부(16)로 출력한다. 또한, 차분 연산부(154)는, 예측 행렬과 양자화 행렬의 차분이 제로인 경우, 차분 행렬 정보를 출력하는 대신에, 차분이 존재하지 않는 것을 나타내는 플래그만을 가역 부호화부(16)로 출력할 수 있다. 또한, 행렬 처리부(150)는, 픽처의 전환 타이밍에 양자화 행렬이 갱신되지 않은 경우, 양자화 행렬이 갱신되지 않은 것을 나타내는 플래그만을 가역 부호화부(16)로 출력할 수 있다.
[1-4. 행렬 처리부의 상세한 구성예]
도 4는, 행렬 처리부(150)의 더 상세한 구성의 일례를 나타내는 블록도이다. 도 4를 참조하면, 행렬 처리부(150)는, 예측부(161), 차분 행렬 생성부(162), 차분 행렬 사이즈 변환부(163), 엔트로피 부호화부(164), 복호부(165) 및 출력부(166)를 갖는다.
본 기술의 중요한 점은, 부호화측에 있어서, 사이즈가 큰(예를 들어 32×32) 양자화 행렬에 대하여, 작은 사이즈(예를 들어 16×16)로 잔차 행렬(잔차 신호)을 생성·전송하고, 복호측에 있어서, 작은 사이즈의 잔차 행렬을 확대(업샘플링)하고 나서 예측 양자화 행렬로 가산하는 것이다.
어프로치로서는 이하가 고려된다.
어프로치 1:
임계값으로 되는 최대의 양자화 행렬을 전송하여, 그 이상의 크기의 경우에는 업샘플링 방법이다. 이 방법을 이용하면, 디코더가 유지하는 최대의 양자화 행렬을 규정할 수 있으므로 사용 메모리를 삭감할 수 있다. 이 경우, 최대 사이즈를 나타내는 식별 정보를 인코더측으로부터 전송하여, 디코더측에서 이용해도 된다. 또한, 규격의 레벨 또는 프로파일에 따라서 최대 사이즈가 규정되도록 해도 된다(예를 들어, 높은 프로파일·레벨일수록 사이즈를 크게 규정함).
어프로치 2:
양자화 행렬마다 업샘플링인지를 나타내는 식별 정보, 업샘플링 계층을 전송한다. 이 방법을 이용하면, 업샘플링하지 않는 경우에는, 디코더는 최대 사이즈의 양자화 행렬을 서포트할 필요가 있지만, 압축의 응용예로서 적용할 수 있다.
예측부(161)는, 예측 행렬을 생성한다. 도 4에 도시된 바와 같이, 예측부(161)는, 카피부(171) 및 예측 행렬 생성부(172)를 갖는다.
카피 모드의 경우, 카피부(171)는, 과거에 전송한 양자화 행렬을 복제하고, 그것을 예측 행렬로 한다(처리 대상의 직교 변환 단위의 양자화 행렬을 예측함). 보다 구체적으로는, 카피부(171)는, 과거에 전송한 양자화 행렬의 사이즈와 리스트 ID(ListID)를 복호부(165)의 기억부(202)로부터 취득한다. 사이즈는, 양자화 행렬의 크기(예를 들어 4×4 내지 32×32 등)를 나타내는 정보이다. 리스트 ID는, 양자화의 대상으로 되는 예측 오차 데이터의 종류를 나타내는 정보이다.
예를 들어, 리스트 ID는, 그 양자화 대상이, 인트라 예측된 예측 화상을 이용하여 생성되는 휘도 성분의 예측 오차 데이터(IntraLuma)인지, 인트라 예측된 예측 화상을 이용하여 생성되는 색차 성분(Cr)의 예측 오차 데이터(IntraCr)인지, 인트라 예측된 예측 화상을 이용하여 생성되는 색차 성분(Cb)의 예측 오차 데이터(IntraCb)인지, 혹은, 인터 예측된 예측 화상을 이용하여 생성되는 휘도 성분의 예측 오차 데이터(InterLuma)인지를 나타내는 식별 정보를 포함한다.
카피부(171)는, 행렬 처리부(150)에 입력된 양자화 행렬(처리 대상의 직교 변환 단위의 양자화 행렬)과 동일한 사이즈의 과거에 전송한 양자화 행렬을 복제 대상으로서 선택하고, 그 복제 대상으로 하는 양자화 행렬의 리스트 ID를 출력부(166)에 공급하고, 행렬 처리부(150)의 외부(가역 부호화부(16)나 역양자화부(21))로 출력시킨다. 즉, 이 경우, 과거에 전송한 양자화 행렬을 복제하여 생성한 예측 행렬을 나타내는 정보로서, ListID만이 복호측에 전송되므로(부호화 데이터에 포함되므로), 화상 부호화 장치(10)는 양자화 행렬의 부호량의 증대를 억제할 수 있다.
또한 통상의 경우, 예측 행렬 생성부(172)는, 과거에 전송한 양자화 행렬을 복호부(165)의 기억부(202)로부터 취득하고, 그 양자화 행렬을 이용하여 예측 행렬을 생성한다(처리 대상의 직교 변환 단위의 양자화 행렬을 예측함). 예측 행렬 생성부(172)는, 생성한 예측 행렬을 차분 행렬 생성부(162)에 공급한다.
차분 행렬 생성부(162)는, 예측부(161)(예측 행렬 생성부(172))로부터 공급된 예측 행렬과, 행렬 처리부(150)에 입력되는 양자화 행렬과의 차분인 차분 행렬(잔차 행렬)을 생성한다. 도 4에 도시된 바와 같이, 차분 행렬 생성부(162)는 예측 행렬 사이즈 변환부(181), 연산부(182) 및 양자화부(183)를 갖는다.
예측 행렬 사이즈 변환부(181)는, 예측 행렬 생성부(172)로부터 공급되는 예측 행렬의 사이즈를, 행렬 처리부(150)에 입력되는 양자화 행렬의 사이즈에 맞추도록 변환(이하, '컨버트'라고도 칭함)한다.
예를 들어, 예측 행렬의 사이즈가 양자화 행렬의 사이즈보다 큰 경우, 예측 행렬 사이즈 변환부(181)는, 예측 행렬을 축소 변환(이하, '다운컨버트'라고도 칭함)한다. 보다 구체적으로는, 예를 들어, 예측 행렬이 16×16이며, 양자화 행렬이8×8인 경우, 예측 행렬 사이즈 변환부(181)는 예측 행렬을 8×8로 다운컨버트한다. 또한, 이 다운컨버트의 방법은 임의이다. 예를 들어, 예측 행렬 사이즈 변환부(181)가 필터를 이용하여(연산에 의해) 예측 행렬의 요소 수를 저감시키도록 해도 된다(이하, '다운샘플'이라고도 칭함). 또한, 예를 들어 도 5에 도시된 바와 같이, 예측 행렬 사이즈 변환부(181)가 필터를 이용하지 않고, 일부의 요소(예를 들어, 2차원 요소의 짝수 부분(도 5의 검은 부분)만)를 씨닝함으로써, 예측 행렬의 요소 수를 저감시키도록 해도 된다(이하, '서브샘플'이라고도 칭함).
또한, 예를 들어, 예측 행렬의 사이즈가 양자화 행렬의 사이즈보다 작은 경우, 예측 행렬 사이즈 변환부(181)는 예측 행렬을 확대 변환(이하, '업컨버트'라고도 칭함)한다. 보다 구체적으로는, 예를 들어, 예측 행렬이 8×8이며, 양자화 행렬이 16×16인 경우, 예측 행렬 사이즈 변환부(181)는 예측 행렬을 16×16으로 업컨버트한다. 또한, 이 업컨버트의 방법은 임의이다. 예를 들어, 예측 행렬 사이즈 변환부(181)가 필터를 이용하여(연산에 의해) 예측 행렬의 요소 수를 증가시키도록 해도 된다(이하, '업샘플'이라고도 칭함). 또한, 예를 들어, 예측 행렬 사이즈 변환부(181)가 필터를 이용하지 않고, 예측 행렬의 각 요소를 복제함으로써, 예측 행렬의 요소 수를 증가시키도록 해도 된다(이하, '역 서브샘플'이라고도 칭함).
예측 행렬 사이즈 변환부(181)는, 사이즈를 양자화 행렬에 맞춘 예측 행렬을 연산부(182)에 공급한다.
연산부(182)는, 예측 행렬 사이즈 변환부(181)로부터 공급되는 예측 행렬로부터, 행렬 처리부(150)에 입력된 양자화 행렬을 감산하고, 차분 행렬(잔차 행렬)을 생성한다. 연산부(182)는, 산출한 차분 행렬을 양자화부(183)에 공급한다.
양자화부(183)는, 연산부(182)로부터 공급된 차분 행렬을 양자화한다. 양자화부(183)는, 그 차분 행렬의 양자화 결과를, 차분 행렬 사이즈 변환부(163)에 공급한다. 또한, 양자화부(183)는, 이 양자화에 이용한 양자화 파라미터 등의 정보를, 출력부(166)에 공급하고, 행렬 처리부(150)의 외부(가역 부호화부(16)나 역양자화부(21))로 출력시킨다. 또한, 이 양자화부(183)를 생략하도록(즉, 차분 행렬의 양자화를 행하지 않도록) 해도 된다.
차분 행렬 사이즈 변환부(163)는, 차분 행렬 생성부(162)(양자화부(183))로부터 공급되는 차분 행렬(양자화 데이터)의 사이즈를, 필요에 따라서, 전송 시에 허용되는 최대 사이즈(이하, '전송 사이즈'라고도 칭함) 이하로 컨버트한다. 이 최대 사이즈는 임의이지만, 예를 들어, 8×8이다.
화상 부호화 장치(10)로부터 출력되는 부호화 데이터는, 예를 들어, 전송로나 기억 매체를 통해, 화상 부호화 장치(10)에 대응하는 화상 복호 장치로 전송되고, 그 화상 복호 장치에 의해 복호된다. 화상 부호화 장치(10)에 있어서는, 이러한 전송에 있어서의, 즉, 화상 부호화 장치(10)로부터 출력되는 부호화 데이터에 있어서의, 차분 행렬(양자화 데이터)의 사이즈의 상한(최대 사이즈)이 설정되어 있다.
차분 행렬 사이즈 변환부(163)는 차분 행렬의 사이즈가, 이 최대 사이즈보다 큰 경우, 최대 사이즈 이하로 되도록, 차분 행렬을 다운컨버트한다.
또한, 이 다운컨버트의 방법은, 전술한 예측 행렬의 다운컨버트의 경우와 마찬가지로 임의이다. 예를 들어, 필터 등을 이용하는 다운샘플이어도 되고, 요소를 씨닝하는 서브샘플이어도 된다.
또한, 다운컨버트 후의 차분 행렬의 사이즈는, 최대 사이즈보다 작으면 어떤 사이즈이어도 된다. 단, 일반적으로는, 컨버트 전후의 사이즈 차가 클수록 오차가 커지므로, 최대 사이즈로 다운컨버트하는 것이 바람직하다.
차분 행렬 사이즈 변환부(163)는 다운컨버트한 차분 행렬을, 엔트로피 부호화부(164)에 공급한다. 또한, 차분 행렬의 사이즈가 최대 사이즈보다 작은 경우, 이 다운컨버트는 불필요하므로, 차분 행렬 사이즈 변환부(163)는 입력된 차분 행렬을 그대로 엔트로피 부호화부(164)에 공급한다(즉, 다운컨버트가 생략된다).
엔트로피 부호화부(164)는, 차분 행렬 사이즈 변환부(163)로부터 공급된 차분 행렬(양자화 데이터)을 소정의 방법에 의해 부호화한다. 도 4에 도시된 바와 같이 엔트로피 부호화부(164)는, 중복 판정부(191: 135degree부), DPCM(Differential Pulse Code Modulation)부(192) 및 expG부(193)를 갖는다.
중복 판정부(191)는, 차분 행렬 사이즈 변환부(163)로부터 공급된 차분 행렬의 대칭성을 판정하고, 잔차가 135° 대칭 행렬인 경우, 예를 들어 도 6에 도시된 바와 같이, 중복되어 있는 데이터인 대칭 부분의 데이터(행렬 요소)를 삭제한다. 잔차가 135° 대칭 행렬이 아닌 경우, 중복 판정부(191)는 이 데이터(행렬 요소)의 삭제를 생략한다. 중복 판정부(191)는 필요에 따라서 대칭 부분이 삭제된 차분 행렬의 데이터를, DPCM부(192)에 공급한다.
DPCM부(192)는, 중복 판정부(191)로부터 공급된, 필요에 따라서 대칭 부분이 삭제된 차분 행렬의 데이터를 DPCM 부호화하고, DPCM 데이터를 생성한다. DPCM부(192)는, 생성한 DPCM 데이터를, expG부(193)에 공급한다.
expG부(193)는 DPCM부(192)로부터 공급되는 DPCM 데이터에 대하여, 부호 있음·부호 없음의 exponential golomb 부호(이하, '확장 골롬 부호'라고도 칭함)를 행한다. expG부(193)는, 그 부호화 결과를 복호부(165) 및 출력부(166)에 공급한다.
복호부(165)는, expG부(193)로부터 공급되는 데이터로부터, 양자화 행렬을 복원한다. 복호부(165)는, 복원한 양자화 행렬에 관한 정보를, 과거에 전송한 양자화 행렬로서, 예측부(161)에 공급한다.
도 4에 도시된 바와 같이, 복호부(165)는 양자화 행렬 복원부(201) 및 기억부(202)를 갖는다.
양자화 행렬 복원부(201)는, 엔트로피 부호화부(164)(expG부(193))로부터 공급되는 확장 골롬 부호를 복호하고, 행렬 처리부(150)에 입력되는 양자화 행렬을 복원한다. 예를 들어, 양자화 행렬 복원부(201)는, 확장 골롬 부호를 엔트로피 부호화부(164)의 부호화 방법에 대응하는 방법으로 복호하고, 차분 행렬 사이즈 변환부(163)에 의한 사이즈 변환의 역변환을 행하여, 양자화부(183)에 의한 양자화에 대응하는 역양자화를 행하고, 얻어진 차분 행렬을, 예측 행렬로부터 감산함으로써, 양자화 행렬을 복원한다.
양자화 행렬 복원부(201)는, 복원한 양자화 행렬을 기억부(202)에 공급하고, 그 사이즈나 리스트 ID와 관련지어 기억시킨다.
기억부(202)는, 양자화 행렬 복원부(201)로부터 공급되는 양자화 행렬에 관한 정보를 기억한다. 이 기억부(202)에 기억되는 양자화 행렬에 관한 정보는, 시간적으로 후에 처리되는 다른 직교 변환 단위의 예측 행렬 생성에 이용된다. 즉, 기억부(202)는 기억하고 있는 양자화 행렬에 관한 정보를, 과거에 전송한 양자화 행렬에 관한 정보로서, 예측부(161)에 공급한다.
또한, 기억부(202)는, 이와 같이 복원된 양자화 행렬에 관한 정보를 기억하는 대신에, 행렬 처리부(150)에 입력되는 양자화 행렬을, 그 사이즈나 리스트 ID와 관련지어 기억하도록 해도 된다. 그 경우, 양자화 행렬 복원부(201)를 생략할 수 있다.
출력부(166)는, 공급되는 각종 정보를 행렬 처리부(150)의 외부로 출력한다. 예를 들어, 카피 모드의 경우, 출력부(166)는, 카피부(171)로부터 공급되는 예측 행렬의 리스트 ID를, 가역 부호화부(16) 및 역양자화부(21)에 공급한다. 또한, 예를 들어, 통상의 경우, 출력부(166)는 expG부(193)로부터 공급되는 확장 골롬 부호, 및 양자화부(183)로부터 공급되는 양자화 파라미터를, 가역 부호화부(16) 및 역양자화부(21)에 공급한다.
또한, 출력부(166)는, 양자화 행렬(양자화 행렬과 그 예측 행렬의 차분 행렬)의 전송 시에 허용되는 최대 사이즈(전송 사이즈)를 나타내는 식별 정보를, 복호측에서 양자화 행렬을 생성하기 위한 정보로서 가역 부호화부(16)에 공급한다. 가역 부호화부(16)는 전술한 바와 같이, 그 양자화 행렬을 생성하기 위한 정보를 부호화 스트림에 포함하고, 복호측에 제공한다. 또한, 이 전송 사이즈를 나타내는 식별 정보를 레벨이나 프로파일 등에 의해 미리 규정하도록 해도 된다. 그 경우, 그 전송 사이즈에 관한 정보가, 부호화측의 장치와 복호측의 장치에서 미리 공유되므로, 전술한 식별 정보의 전송을 생략할 수 있다.
이상과 같이, 행렬 처리부(150)가 전송하는 양자화 행렬(차분 행렬)의 사이즈를 전송 사이즈 이하로 다운컨버트하므로, 화상 부호화 장치(10)는 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[1-5. 양자화 행렬 부호화 처리의 흐름]
다음으로, 도 7의 흐름도를 참조하여, 도 4의 행렬 처리부(150)에 의해 실행되는 양자화 행렬 부호화 처리의 흐름의 예를 설명한다.
양자화 행렬 부호화 처리가 개시되면, 스텝 S101에 있어서, 예측부(161)는 처리 대상의 직교 변환 단위인 커런트 영역('주목 영역'이라고도 칭함)의 양자화 행렬을 취득한다.
스텝 S102에 있어서, 예측부(161)는 카피 모드인지 여부를 판정한다. 카피 모드가 아니라고 판정한 경우, 예측부(161)는 처리를 스텝 S103으로 진행시킨다.
스텝 S103에 있어서, 예측 행렬 생성부(172)는 과거에 전송된 양자화 행렬을, 기억부(202)로부터 취득하고, 그 양자화 행렬을 이용하여, 예측 행렬을 생성한다.
스텝 S104에 있어서, 예측 행렬 사이즈 변환부(181)는 스텝 S103에 있어서 생성된 예측 행렬의 사이즈가, 스텝 S101에 있어서 취득된 커런트 영역(주목 영역)의 양자화 행렬과 상이한지 여부를 판정한다. 사이즈가 상이하다고 판정된 경우, 예측 행렬 사이즈 변환부(181)는 처리를 스텝 S105로 진행시킨다.
스텝 S105에 있어서, 예측 행렬 사이즈 변환부(181)는 스텝 S103에 있어서 생성된 예측 행렬의 사이즈를, 스텝 S101에 있어서 취득된 커런트 영역의 양자화 행렬의 사이즈로 컨버트한다.
스텝 S105의 처리가 종료되면, 예측 행렬 사이즈 변환부(181)는 처리를 스텝 S106으로 진행시킨다. 또한, 스텝 S104에 있어서, 예측 행렬의 사이즈와 양자화 행렬의 사이즈가 동일하다고 판정된 경우, 예측 행렬 사이즈 변환부(181)는 스텝 S105의 처리를 생략하고(스텝 S105의 처리를 행하지 않고), 처리를 스텝 S106으로 진행시킨다.
스텝 S106에 있어서, 연산부(182)는 예측 행렬로부터 양자화 행렬을 감산하고, 예측 행렬과 양자화 행렬의 차분 행렬을 산출한다.
스텝 S107에 있어서, 양자화부(183)는 스텝 S106에 있어서 생성된 차분 행렬을 양자화한다. 또한, 이 처리는 생략하도록 해도 된다.
스텝 S108에 있어서, 차분 행렬 사이즈 변환부(163)는 양자화된 차분 행렬의 사이즈가 전송 사이즈(전송 시에 허용되는 최대 사이즈)보다 큰지 여부를 판정한다. 전송 사이즈보다 크다고 판정된 경우, 차분 행렬 사이즈 변환부(163)는 처리를 스텝 S109로 진행시키고, 차분 행렬을 전송 사이즈 이하로 다운컨버트한다.
스텝 S109의 처리를 종료하면, 차분 행렬 사이즈 변환부(163)는 처리를 스텝 S110으로 진행시킨다. 또한, 스텝 S108에 있어서, 양자화된 차분 행렬의 사이즈가 전송 사이즈 이하라고 판정된 경우, 차분 행렬 사이즈 변환부(163)는 스텝 S109의 처리를 생략하고(스텝 S109의 처리를 행하지 않고), 처리를 스텝 S110으로 진행시킨다.
스텝 S110에 있어서, 중복 판정부(191)는 양자화된 차분 행렬이, 135°의 대칭성을 갖는지 여부를 판정한다. 135°의 대칭성을 갖는다고 판정된 경우, 중복 판정부(191)는 처리를 스텝 S111로 진행시킨다.
스텝 S111에 있어서, 중복 판정부(191)는 양자화된 차분 행렬의 중복 부분(중복 데이터)을 삭제한다. 중복 데이터를 삭제하면, 중복 판정부(191)는 처리를 스텝 S112로 진행시킨다.
또한, 스텝 S110에 있어서, 양자화된 차분 행렬이 135°의 대칭성을 갖지 않는다고 판정된 경우, 중복 판정부(191)는 스텝 S111의 처리를 생략하고(스텝 S111의 처리를 행하지 않고), 처리를 스텝 S112로 진행시킨다.
스텝 S112에 있어서, DPCM부(192)는 적절하게 중복 부분이 삭제된 차분 행렬을 DPCM 부호화한다.
스텝 S113에 있어서, expG부(193)는 스텝 S112에 있어서 생성된 DPCM 데이터에, 정부(正負)를 나타내는 부호가 존재하는지 여부를 판정한다. 부호가 존재한다고 판정된 경우, expG부(193)는 처리를 스텝 S114로 진행시킨다.
스텝 S114에 있어서, expG부(193)는 DPCM 데이터에 대하여 부호 있음의 확장 골롬 부호화를 행한다. 출력부(166)는 생성된 확장 골롬 부호를, 가역 부호화부(16) 및 역양자화부(21)로 출력한다. 스텝 S114의 처리가 종료되면, expG부(193)는 처리를 스텝 S116으로 진행시킨다.
또한, 스텝 S113에 있어서, 부호가 존재하지 않는다고 판정된 경우, expG부(193)는 처리를 스텝 S115로 진행시킨다.
스텝 S115에 있어서, expG부(193)는 DPCM 데이터에 대하여 부호 없음의 확장 골롬 부호화를 행한다. 출력부(166)는, 생성된 확장 골롬 부호를, 가역 부호화부(16) 및 역양자화부(21)로 출력한다. 스텝 S115의 처리가 종료되면, expG부(193)는 처리를 스텝 S116으로 진행시킨다.
또한, 스텝 S102에 있어서, 카피 모드라고 판정된 경우, 카피부(171)는 과거에 전송된 양자화 행렬을 복제하여 그것을 예측 행렬로 한다. 출력부(166)는, 그 예측 행렬에 대응하는 리스트 ID를, 예측 행렬을 나타내는 정보로서, 가역 부호화부(16) 및 역양자화부(21)로 출력한다. 그리고, 카피부(171)는, 처리를 스텝 S116으로 진행시킨다.
스텝 S116에 있어서, 양자화 행렬 복원부(201)는 양자화 행렬을 복원한다. 스텝 S117에 있어서, 기억부(202)는 스텝 S116에 있어서 복원된 양자화 행렬을 기억한다.
스텝 S117의 처리가 종료되면, 행렬 처리부(150)는 양자화 행렬 부호화 처리를 종료한다.
행렬 처리부(150)가, 이상과 같이 처리를 행함으로써, 화상 부호화 장치(10)는 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[1-6. 신택스]
도 8 내지 도 13은, 본 기술을 적용한 경우의, 신택스의 예를 나타내는 도면이다. 도 8 내지 도 13에 도시된 바와 같이, 양자화 행렬에 관한 각종 파라미터나 플래그가, 예를 들어, 부호화 데이터에 부가되어 복호측으로 전송된다. 또한, 이들 정보를 부가하는 부호화 데이터의 위치는 임의이다. 또한, 이들 정보를, 부호화 데이터와는 독립하여 복호측으로 전송시키도록 해도 된다.
[1-7. 양자화 스케일]
여기서 도 12에 기재된 제1 양자화 스케일 내지 제4 양자화 스케일에 대하여 설명한다. 4종류의 양자화 스케일(Qscale0 내지 Qscale3)이 특정된다. 이들 양자화 스케일은, 양자화 행렬의 각 요소의 값을 양자화하여 부호량을 보다 적게 하기 위해 채용될 수 있는 파라미터이다.
보다 구체적으로는, 예를 들어, 8×8의 양자화 행렬에 대하여, 도 14 및 도 15에 도시된 바와 같은 4개의 양자화 스케일 설정 영역 A1 내지 A4가 정의된다. 양자화 스케일 설정 영역 A1은, DC 성분을 포함하는 저역 신호에 대응하는 요소군을 위한 영역이다.
양자화 스케일 설정 영역 A2 및 A3은, 각각 중간 영역의 신호에 대응하는 요소군을 위한 영역이다. 양자화 스케일 설정 영역 A4는, 고역 신호에 대응하는 요소군을 위한 영역이다. 이러한 영역마다, 양자화 행렬의 요소값을 양자화하기 위한 양자화 스케일이 설정될 수 있다.
예를 들어, 도 15를 참조하면, 양자화 스케일 설정 영역 A1에 대한 제1 양자화 스케일(Qscale0)은 "1"이다. 이것은, 저역 신호에 대응하는 요소군에 대해서는 양자화 행렬의 값이 양자화되지 않는 것을 의미한다.
이에 반하여, 양자화 스케일 설정 영역 A2에 대한 제2 양자화 스케일(Qscale1)은 "2"이다. 양자화 스케일 설정 영역 A3에 대한 제3 양자화 스케일(Qscale2)은 "3"이다. 양자화 스케일 설정 영역 A4에 대한 제4 양자화 스케일(Qscale3)은 "4"이다. 양자화 스케일이 커질수록, 양자화에 의해 발생하는 오차는 증가한다.
그러나, 일반적으로, 고역 신호에 대해서는, 어느 정도의 오차가 허용될 수 있다. 따라서, 높은 부호화 효율을 달성하는 것이 요망되는 경우, 양자화 행렬의 양자화를 위한 이러한 양자화 스케일의 설정에 의해, 양자화 행렬의 정의에 필요로 하는 부호량을, 화질을 크게 열화시키지 않고 효과적으로 삭감할 수 있다.
또한, 도 14 및 도 15에 도시한 양자화 스케일 설정 영역의 배치는 일례에 지나지 않는다. 예를 들어, 양자화 행렬의 사이즈마다 서로 다른 수의 양자화 스케일 설정 영역이 정의되어도 된다(예를 들어, 사이즈가 클수록 많은 양자화 스케일 설정 영역이 정의될 수 있음).
또한, 양자화 스케일 설정 영역의 경계 위치도 도 14의 예에 한정되지 않는다. 통상적으로, 양자화 행렬을 일차원화할 때의 스캔 패턴은 지그재그 스캔이다. 그로 인해, 도 14에 도시한 바와 같은 우측 상단부터 좌측 하단에 걸친 경사 영역 경계가 이용되는 것이 바람직하다.
그러나, 양자화 행렬의 요소 간의 상관, 또는 사용되는 스캔 패턴 등에 따라서, 세로 방향 또는 가로 방향을 따른 영역 경계가 이용되어도 된다. 즉, 영역 경계의 경사 각도는 임의이며, 복수의 후보 중에서 원하는 각도의 경사 패턴이 선택되도록 해도 된다. 또한, 양자화 스케일 설정 영역의 배치(영역의 수 및 경계의 위치나 경사 등)는 부호화 효율의 관점에서 적응적으로 선택되어도 된다. 예를 들어, 플랫에 가까운 양자화 행렬이 정의되는 경우, 보다 적은 수의 양자화 스케일 설정 영역이 선택되어도 된다.
다음으로, 본 발명의 일 실시 형태에 따른 화상 복호 장치의 구성예에 대하여 설명한다.
[1-8. 화상 복호 장치의 전체적인 구성예]
도 16은, 본 발명의 일 실시 형태에 따른 화상 복호 장치(300)의 구성 일례를 나타내는 블록도이다. 도 16에 도시된 화상 복호 장치(300)는, 화상 부호화 장치(10)에 의해 생성된 부호화 데이터를 복호하는, 본 기술을 적용한 화상 처리 장치이다. 도 16을 참조하면, 화상 복호 장치(300)는 축적 버퍼(311), 가역 복호부(312), 역양자화·역직교 변환부(313), 가산부(315), 디블로킹 필터(316), 재배열 버퍼(317), D/A(Digital to Analogue) 변환부(318), 프레임 메모리(319), 셀렉터(320 및 321), 인트라 예측부(330) 및 움직임 보상부(340)를 갖는다.
축적 버퍼(311)는, 전송로를 통해 입력되는 부호화 스트림을, 기억 매체를 이용하여 일시적으로 축적한다.
가역 복호부(312)는, 축적 버퍼(311)로부터 입력되는 부호화 스트림을, 부호화 시에 사용된 부호화 방식에 따라서 복호한다. 또한, 가역 복호부(312)는 부호화 스트림의 헤더 영역에 다중화되어 있는 정보를 복호한다. 부호화 스트림의 헤더 영역에 다중화되어 있는 정보란, 예를 들어, 전술한 양자화 행렬을 생성하기 위한 기초 행렬 정보 및 차분 행렬 정보와, 블록 헤더 내의 인트라 예측에 관한 정보 및 인터 예측에 관한 정보를 포함할 수 있다. 가역 복호부(312)는, 복호 후의 양자화 데이터 및 양자화 행렬을 생성하기 위한 정보를, 역양자화·역직교 변환부(313)로 출력한다. 또한, 가역 복호부(312)는, 인트라 예측에 관한 정보를 인트라 예측부(330)로 출력한다. 또한, 가역 복호부(312)는, 인터 예측에 관한 정보를 움직임 보상부(340)로 출력한다.
역양자화·역직교 변환부(313)는, 가역 복호부(312)로부터 입력되는 양자화 데이터에 대하여 역양자화 및 역직교 변환을 행함으로써, 예측 오차 데이터를 생성한다. 그리고, 역양자화·역직교 변환부(313)는, 생성한 예측 오차 데이터를 가산부(315)로 출력한다.
가산부(315)는, 역양자화·역직교 변환부(313)로부터 입력되는 예측 오차 데이터와, 셀렉터(321)로부터 입력되는 예측 화상 데이터를 가산함으로써, 복호 화상 데이터를 생성한다. 그리고, 가산부(315)는, 생성한 복호 화상 데이터를 디블로킹 필터(316) 및 프레임 메모리(319)로 출력한다.
디블로킹 필터(316)는, 가산부(315)로부터 입력되는 복호 화상 데이터를 필터링함으로써 블록 왜곡을 제거하고, 필터링 후의 복호 화상 데이터를 재배열 버퍼(317) 및 프레임 메모리(319)로 출력한다.
재배열 버퍼(317)는, 디블로킹 필터(316)로부터 입력되는 화상을 재배열함으로써, 시계열의 일련의 화상 데이터를 생성한다. 그리고, 재배열 버퍼(317)는 생성한 화상 데이터를 D/A 변환부(318)로 출력한다.
D/A 변환부(318)는, 재배열 버퍼(317)로부터 입력되는 디지털 형식의 화상 데이터를 아날로그 형식의 화상 신호로 변환한다. 그리고, D/A 변환부(318)는, 예를 들어, 화상 복호 장치(300)와 접속되는 디스플레이(도시생략)에 아날로그 화상 신호를 출력함으로써, 화상을 표시시킨다.
프레임 메모리(319)는, 가산부(315)로부터 입력되는 필터링 전의 복호 화상 데이터, 및 디블로킹 필터(316)로부터 입력되는 필터링 후의 복호 화상 데이터를, 기억 매체를 이용하여 기억한다.
셀렉터(320)는, 가역 복호부(312)에 의해 취득되는 모드 정보에 따라서, 화상 내의 블록마다, 프레임 메모리(319)로부터의 화상 데이터의 출력처를 인트라 예측부(330)와 움직임 보상부(340) 사이에서 전환한다. 예를 들어, 셀렉터(320)는 인트라 예측 모드가 지정된 경우, 프레임 메모리(319)로부터 공급되는 필터링 전의 복호 화상 데이터를 참조 화상 데이터로서 인트라 예측부(330)로 출력한다. 또한, 셀렉터(320)는 인터 예측 모드가 지정된 경우, 프레임 메모리(319)로부터 공급되는 필터링 후의 복호 화상 데이터를 참조 화상 데이터로서 움직임 보상부(340)로 출력한다.
셀렉터(321)는, 가역 복호부(312)에 의해 취득되는 모드 정보에 따라서, 화상 내의 블록마다, 가산부(315)에 공급할 예측 화상 데이터의 출력원을 인트라 예측부(330)와 움직임 보상부(340) 사이에서 전환한다. 예를 들어, 셀렉터(321)는 인트라 예측 모드가 지정된 경우, 인트라 예측부(330)로부터 출력되는 예측 화상 데이터를 가산부(315)에 공급한다. 셀렉터(321)는 인터 예측 모드가 지정된 경우, 움직임 보상부(340)로부터 출력되는 예측 화상 데이터를 가산부(315)에 공급한다.
인트라 예측부(330)는, 가역 복호부(312)로부터 입력되는 인트라 예측에 관한 정보와 프레임 메모리(319)로부터의 참조 화상 데이터에 기초하여 화소값의 화면 내 예측을 행하고, 예측 화상 데이터를 생성한다. 그리고, 인트라 예측부(330)는 생성한 예측 화상 데이터를 셀렉터(321)로 출력한다.
움직임 보상부(340)는 가역 복호부(312)로부터 입력되는 인터 예측에 관한 정보와 프레임 메모리(319)로부터의 참조 화상 데이터에 기초하여 움직임 보상 처리를 행하고, 예측 화상 데이터를 생성한다. 그리고, 움직임 보상부(340)는 생성한 예측 화상 데이터를 셀렉터(321)로 출력한다.
[1-9. 역양자화·역직교 변환부의 구성예]
도 17은, 도 16에 도시한 화상 복호 장치(300)의 역양자화·역직교 변환부(313)의 주된 구성의 일례를 나타내는 블록도이다. 도 17을 참조하면, 역양자화·역직교 변환부(313)는 행렬 생성부(410), 선택부(430), 역양자화부(440) 및 역직교 변환부(450)를 갖는다.
(1) 행렬 생성부
행렬 생성부(410)는, 부호화 스트림의 시퀀스마다 및 픽처마다, 어떤 하나의 사이즈의 변환 단위에 대응하는 양자화 행렬로부터, 다른 하나 이상의 사이즈의 변환 단위에 대응하는 양자화 행렬을 생성한다. 양자화 행렬의 생성의 기초로 되는 변환 단위의 사이즈는, 전형적으로는, 복수의 변환 단위의 사이즈 중 최소 사이즈이어도 된다. 본 실시 형태에서는, 행렬 생성부(410)는 최소 사이즈인 4×4의 양자화 행렬로부터, 보다 큰 사이즈에 대한 차분 행렬 정보를 이용하여, 8×8, 16×16 및 32×32의 양자화 행렬을 생성한다.
(2) 선택부
선택부(430)는, 사이즈가 서로 다른 복수의 변환 단위로부터, 복호되는 화상 데이터의 역직교 변환을 위해 사용되는 변환 단위(TU)를 선택한다. 선택부(430)에 의해 선택될 수 있는 변환 단위의 사이즈 후보는, 예를 들어, H.264/AVC에서는 4×4 및 8×8을 포함하고, HEVC에서는 4×4, 8×8, 16×16 및 32×32를 포함한다. 선택부(430)는, 예를 들어, 부호화 스트림의 헤더 내에 포함되는 LCU, SCU 및 split_flag에 기초하여, 변환 단위를 선택해도 된다. 그리고, 선택부(430)는 선택한 변환 단위의 사이즈를 지정하는 정보를, 역양자화부(440) 및 역직교 변환부(450)로 출력한다.
(3) 역양자화부
역양자화부(440)는, 선택부(430)에 의해 선택된 변환 단위에 대응하는 양자화 행렬을 이용하여, 화상의 부호화 시에 양자화된 변환 계수 데이터를 역양자화한다. 여기서 역양자화 처리를 위해 이용되는 양자화 행렬은, 행렬 생성부(410)에 의해 생성되는 행렬을 포함한다. 즉, 예를 들어 선택부(430)에 의해 8×8, 16×16, 또는 32×32의 변환 단위가 선택된 경우, 선택된 변환 단위에 대응하는 양자화 행렬로서, 행렬 생성부(410)에 의해 4×4의 양자화 행렬로부터 생성된 양자화 행렬이 이용될 수 있다. 그리고, 역양자화부(440)는, 역양자화한 변환 계수 데이터를 역직교 변환부(450)로 출력한다.
(4) 역직교 변환부
역직교 변환부(450)는, 부호화 시에 사용된 직교 변환 방식에 따라서, 역양자화부(440)에 의해 역양자화된 변환 계수 데이터를 상기 선택된 변환 단위로 역직교 변환함으로써, 예측 오차 데이터를 생성한다. 그리고, 역직교 변환부(450)는 생성된 예측 오차 데이터를 가산부(315)로 출력한다.
[1-10. 행렬 생성부의 구성예]
도 18은, 도 17에 도시한 역양자화·역직교 변환부(313)의 행렬 생성부(410)의 더 상세한 구성의 일례를 나타내는 블록도이다. 도 18을 참조하면, 행렬 생성부(410)는 기초 행렬 취득부(512), 차분 취득부(514), 예측부(516), 재구축부(518) 및 양자화 행렬 버퍼(520)를 갖는다.
(1) 기초 행렬 취득부
기초 행렬 취득부(512)는, 가역 복호부(312)로부터 입력되는 기초 행렬 정보를 취득한다. 본 실시 형태에 있어서, 기초 행렬 정보는, 전술한 바와 같이, 예를 들어, 최소 사이즈인 4×4(또는 8×8)의 양자화 행렬 SL1을 특정하는 정보이다. 그리고, 기초 행렬 취득부(512)는 취득한 기초 행렬 정보로부터 특정되는 4×4의 양자화 행렬 SL1을 양자화 행렬 버퍼(520)에 기억시킨다. 또한, 기초 행렬 취득부(512)는 시퀀스마다 또는 픽처마다 취득되는 행렬 종별 플래그가 「0」이면, 기초 행렬 정보를 취득하지 않고, 4×4의 기정 양자화 행렬을 양자화 행렬 버퍼(520)에 기억시킨다. 또한, 기초 행렬 취득부(512)는 픽처마다 취득되는 갱신 플래그가 「0」이면, 이전의 처리에 의해 양자화 행렬 버퍼(520)에 기억시킨 양자화 행렬 SL1을 갱신하지 않는다. 또한, 기초 행렬 취득부(512)는 4×4의 양자화 행렬 SL1을 예측부(516)로 출력한다.
(2) 차분 취득부
차분 취득부(514)는, 가역 복호부(312)로부터 입력되는 차분 행렬 정보(잔차 행렬 정보)를 취득한다. 본 실시 형태에 있어서, 차분 행렬 정보는, 전술한 바와 같이, 4×4의 양자화 행렬 SL1로부터 예측되는 예측 행렬 PSL2, PSL3 및 PSL4와 양자화 행렬 SL2, SL3, 및 SL4의 차분을 나타내는 차분 행렬 DSL2, DSL3 및 DSL4를 특정하는 정보이다. 차분 취득부(514)는, 차분 행렬 정보에 의해 특정되는 차분 행렬 DSL2, DSL3 및 DSL4를, 재구축부(518)로 출력한다. 또한, 차분 취득부(514)는, 시퀀스마다 또는 픽처마다 취득되는 행렬 종별 플래그가 「0」이거나, 혹은, 차분 플래그가 「0」이면, 차분 행렬 정보를 취득하지 않고, 대응하는 사이즈의 차분 행렬을 제로 행렬로 한다. 또한, 차분 취득부(514)는 픽처마다 취득되는 갱신 플래그가 「0」이면, 대응하는 사이즈에 대하여 차분 행렬을 출력하지 않는다.
(3) 예측부
예측부(516)는, 기초 행렬 취득부(512)로부터 입력되는 기초 행렬, 즉 본 실시 형태에 있어서는 4×4의 양자화 행렬 SL1로부터, 보다 큰 사이즈의 8×8의 예측 행렬 PSL2를 산출한다. 또한, 예측부(516)는 산출된 8×8의 예측 행렬 PSL2를 이용하여 재구축부(518)에 의해 재구축되는 양자화 행렬 SL2로부터, 16×16의 예측 행렬 PSL3을 산출한다. 또한, 예측부(516)는, 산출된 16×16의 예측 행렬 PSL3을 이용하여 재구축부(518)에 의해 재구축되는 양자화 행렬 SL3으로부터, 32×32의 예측 행렬 PSL4를 산출한다. 예측부(516)는, 예측 행렬 PSL2, PSL3 및 PSL4를 각각 재구축부(518)로 출력한다. 또한, 예측부(516)는, 행렬 종별 플래그가 「0」인 사이즈에 대해서는 예측 행렬을 생성하지 않고, 보다 큰 사이즈의 예측 행렬의 산출을 위해서, 기정 양자화 행렬을 사용한다. 또한, 기초 행렬 취득부(512)는 갱신 플래그가 「0」인 사이즈에 대해서도 예측 행렬을 생성하지 않고, 보다 큰 사이즈의 예측 행렬의 산출을 위해서, 이전 처리에서 생성된 양자화 행렬을 사용한다.
(4) 재구축부
재구축부(518)는, 예측부(516)로부터 입력되는 예측 행렬 PSL2, PSL3 및 PSL4와 차분 취득부(514)로부터 입력되는 차분 행렬 DSL2, DSL3 및 DSL4를 가산함으로써, 양자화 행렬 SL2, SL3 및 SL4를 각각 재구축한다.
그리고, 재구축부(518)는, 재구축한 8×8, 16×16 및 32×32의 양자화 행렬 SL2, SL3 및 SL4를 양자화 행렬 버퍼(520)에 기억시킨다. 또한, 재구축부(518)는, 시퀀스마다 또는 픽처마다 취득되는 행렬 종별 플래그가 「0」이면, 대응하는 사이즈의 양자화 행렬로서 기정 양자화 행렬을 양자화 행렬 버퍼(520)에 기억시킨다. 또한, 기초 행렬 취득부(512)는 픽처마다 취득되는 갱신 플래그가 「0」이면, 이전 처리에 의해 양자화 행렬 버퍼(520)에 기억시킨 대응하는 사이즈의 양자화 행렬 SL2, SL3, 또는 SL4를 갱신하지 않는다.
(5) 양자화 행렬 버퍼
양자화 행렬 버퍼(520)는, 기초 행렬 취득부(512)에 의해 특정되는 양자화 행렬 SL1과, 재구축부(518)에 의해 재구축되는 양자화 행렬 SL2, SL3 및 SL4를 일시적으로 기억한다. 양자화 행렬 버퍼(520)에 의해 기억되는 이들 양자화 행렬 SL1, SL2, SL3 및 SL4는, 양자화된 변환 계수 데이터의 역양자화부(440)에 의한 역양자화 처리를 위해 이용된다.
[1-11. 행렬 생성부의 상세한 구성예]
도 19는, 도 18에 도시한 행렬 생성부(410)의 더 상세한 구성의 일례를 나타내는 블록도이다. 도 19를 참조하면, 행렬 생성부(410)는 파라미터 해석부(531), 예측부(532), 엔트로피 복호부(533), 양자화 행렬 복원부(534), 출력부(535) 및 기억부(536)를 갖는다.
파라미터 해석부(531)는, 가역 복호부(312)로부터 공급되는, 양자화 행렬에 관한 각종 플래그나 파라미터를 해석한다. 또한, 파라미터 해석부(531)는 그 해석 결과에 따라서, 가역 복호부(312)로부터 공급되는, 차분 행렬의 부호화 데이터 등, 각종 정보를 예측부(532) 또는 엔트로피 복호부(533)에 공급한다.
예를 들어, 파라미터 해석부(531)는 pred_mode가 0이면, 카피 모드라 판단하고, pred_matrix_id_delta를 카피부(541)에 공급한다. 또한, 예를 들어, 파라미터 해석부(531)는 pred_mode가 1이면, 전체 스캔 모드(통상의 경우)라 판단하고, pred_matrix_id_delta 및 pred_size_id_delta를 예측 행렬 생성부(542)에 공급한다.
또한, 파라미터 해석부(531)는, 예를 들어 residual_flag가 true인 경우, 가역 복호부(312)로부터 공급되는 양자화 행렬의 부호화 데이터(확장 골롬 부호)를 엔트로피 복호부(533)의 expG부(551)에 공급한다. 또한, 파라미터 해석부(531)는 residual_symmetry_flag를 expG부(551)에 공급한다.
또한, 파라미터 해석부(531)는, residual_down_sampling_flag를 양자화 행렬 복원부(534)의 차분 행렬 사이즈 변환부(562)에 공급한다.
예측부(532)는, 파라미터 해석부(531)의 제어에 따라서, 예측 행렬을 생성한다. 도 19에 도시된 바와 같이, 예측부(532)는, 카피부(541) 및 예측 행렬 생성부(542)를 갖는다.
카피부(541)는 카피 모드의 경우, 과거에 전송된 양자화 행렬을 복제하고, 그것을 예측 행렬로 한다. 보다 구체적으로는, 카피부(541)는 pred_matrix_id_delta에 대응하는, 커런트 영역의 양자화 행렬과 동일 사이즈의, 과거에 전송된 양자화 행렬을 기억부(536)로부터 판독하고, 그 양자화 행렬을 예측 화상으로 하여, 그 예측 화상을 출력부(535)에 공급한다.
예측 행렬 생성부(542)는 통상의 경우, 과거에 전송된 양자화 행렬을 이용하여 예측 행렬을 생성한다(예측함). 보다 구체적으로는, 예측 행렬 생성부(542)는, pred_matrix_id_delta 및 pred_size_id_delta에 대응하는 과거에 전송된 양자화 행렬을 기억부(536)로부터 판독하고, 그것을 이용하여 예측 행렬을 생성한다. 즉, 예측 행렬 생성부(542)는, 화상 부호화 장치(10)의 예측 행렬 생성부(172: 도 4)가 생성하는 예측 행렬과 마찬가지의 예측 행렬을 생성한다. 예측 행렬 생성부(542)는, 생성한 예측 행렬을 양자화 행렬 복원부(534)의 예측 행렬 사이즈 변환부(561)에 공급한다.
엔트로피 복호부(533)는, 파라미터 해석부(531)로부터 공급되는 확장 골롬 부호로부터 차분 행렬을 복원한다. 도 19에 도시된 바와 같이, 엔트로피 복호부(533)는 expG부(551), 역 DPCM부(552), 및 역중복 판정부(553)를 갖는다.
expG부(551)는, 부호 있음 혹은 부호 없음의 exponential golomb 복호(이하, '확장 골롬 복호'라고도 칭함)를 행하여, DPCM 데이터를 복원한다. expG부(551)는 복원한 DPCM 데이터를, residual_symmetry_flag와 함께, 역 DPCM부(552)에 공급한다.
역 DPCM부(552)는, 중복 부분이 삭제된 데이터에 대하여 DPCM 복호하여, DPCM 데이터로부터 잔차 데이터를 생성한다. 역 DPCM부(552)는 생성한 잔차 데이터를, residual_symmetry_flag와 함께, 역중복 판정부(553)에 공급한다.
역중복 판정부(553)는, residual_symmetry_flag가 true인 경우, 즉, 잔차 데이터가 135° 대칭 행렬의, 중복된 대칭 부분의 데이터(행렬 요소)가 삭제된 것인 경우, 그 대칭 부분의 데이터를 복원한다. 즉, 135° 대칭 행렬의 차분 행렬이 복원된다. 또한, residual_symmetry_flag가 true가 아닌 경우, 즉, 잔차 데이터가 135° 대칭 행렬이 아닌 행렬인 경우, 역중복 판정부(553)는 대칭 부분의 데이터 복원을 행하지 않고, 그 잔차 데이터를 차분 행렬로 한다. 역중복 판정부(553)는, 이와 같이 하여 복원한 차분 행렬을 양자화 행렬 복원부(534)(차분 행렬 사이즈 변환부(562))에 공급한다.
양자화 행렬 복원부(534)는 양자화 행렬을 복원한다. 도 19에 도시된 바와 같이, 양자화 행렬 복원부(534)는 예측 행렬 사이즈 변환부(561), 차분 행렬 사이즈 변환부(562), 역양자화부(563) 및 연산부(564)를 갖는다.
예측 행렬 사이즈 변환부(561)는, 예측부(532)(예측 행렬 생성부(542))로부터 공급되는 예측 행렬의 사이즈가, 복원되는 커런트 영역의 양자화 행렬의 사이즈와 상이한 경우, 그 예측 행렬의 사이즈를 컨버트한다.
예를 들어, 예측 행렬의 사이즈가 양자화 행렬의 사이즈보다 큰 경우, 예측 행렬 사이즈 변환부(561)는 예측 행렬을 다운컨버트한다. 또한, 예를 들어, 예측 행렬의 사이즈가 양자화 행렬의 사이즈보다 작은 경우, 예측 행렬 사이즈 변환부(561)는 예측 행렬을 업컨버트한다. 컨버트의 방법은, 화상 부호화 장치(10)의 예측 행렬 사이즈 변환부(181: 도 4)와 동일한 방법이 선택된다.
예측 행렬 사이즈 변환부(561)는, 사이즈를 양자화 행렬에 맞춘 예측 행렬을 연산부(564)에 공급한다.
차분 행렬 사이즈 변환부(562)는, residual_down_sampling_flag가 true인 경우, 즉, 전송된 차분 행렬의 사이즈가 역양자화하는 커런트 영역의 사이즈보다 작은 경우, 그 차분 행렬의 사이즈를 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트한다. 업컨버트의 방법은 임의이다. 예를 들어, 화상 부호화 장치(10)의 차분 행렬 사이즈 변환부(163: 도 4)가 행한 다운컨버트의 방법에 대응하도록 해도 된다.
예를 들어, 차분 행렬 사이즈 변환부(163)가 차분 행렬을 다운샘플한 경우, 차분 행렬 사이즈 변환부(562)는 그 차분 행렬을 업샘플하도록 해도 된다. 또한, 차분 행렬 사이즈 변환부(163)가 차분 행렬을 서브샘플로 한 경우, 차분 행렬 사이즈 변환부(562)는, 그 차분 행렬을 역 서브샘플하도록 해도 된다.
예를 들어, 차분 행렬 사이즈 변환부(562)는 일반적인 선형 보간이 아니라, 도 20에 도시된 바와 같이, 최근방 보간 처리(nearest neighbor)에 의해 보간하도록 해도 된다. 이 최근방 보간 처리를 이용함으로써, 유지하는 메모리를 저감시킬 수 있다.
이에 의해, 사이즈가 큰 양자화 행렬을 전송하지 않는 경우에도, 사이즈가 작은 양자화 행렬로부터 업샘플링할 때에, 업샘플링 후의 데이터를 유지할 필요가 없어지고, 업샘플링할 때의 연산에 수반하는 데이터를 저장할 때에도, 중간 버퍼 등도 불필요해진다.
또한, residual_down_sampling_flag가 true가 아닌 경우, 즉, 차분 행렬이 양자화 처리에 이용되었을 때의 사이즈로 전송되는 경우, 차분 행렬 사이즈 변환부(562)는 차분 행렬의 업컨버트를 생략한다(혹은, 1배의 업컨버트를 행하도록 하여도 됨).
차분 행렬 사이즈 변환부(562)는, 이와 같이 필요에 따라서 업컨버트한 차분 행렬을, 역양자화부(563)에 공급한다.
역양자화부(563)는, 화상 부호화 장치(10)의 양자화부(183: 도 4)의 양자화에 대응하는 방법에 의해, 공급된 차분 행렬(양자화 데이터)을 역양자화하고, 역양자화된 차분 행렬을 연산부(564)에 공급한다. 또한, 양자화부(183)가 생략되는 경우, 즉, 차분 행렬 사이즈 변환부(562)로부터 공급되는 차분 행렬이 양자화 데이터가 아닌 경우, 이 역양자화부(563)를 생략할 수 있다.
연산부(564)는, 예측 행렬 사이즈 변환부(561)로부터 공급되는 예측 행렬과, 역양자화부(563)로부터 공급되는 차분 행렬을 가산하고, 커런트 영역의 양자화 행렬을 복원한다. 연산부(564)는, 복원한 양자화 행렬을 출력부(535) 및 기억부(536)에 공급한다.
출력부(535)는, 공급되는 정보를 행렬 생성부(410)의 외부로 출력한다. 예를 들어, 카피 모드의 경우, 출력부(535)는 카피부(541)로부터 공급되는 예측 행렬을 커런트 영역의 양자화 행렬로서, 역양자화부(440)에 공급한다. 또한, 예를 들어, 통상의 경우, 출력부(535)는 양자화 행렬 복원부(534)(연산부(564))로부터 공급되는 커런트 영역의 양자화 행렬을, 역양자화부(440)에 공급한다.
기억부(536)는, 양자화 행렬 복원부(534)(연산부(564))로부터 공급되는 양자화 행렬을, 그 사이즈나 리스트 ID와 함께 기억한다. 이 기억부(536)에 기억되는 양자화 행렬에 관한 정보는, 시간적으로 후에 처리되는 다른 직교 변환 단위의 예측 행렬 생성에 이용된다. 즉, 기억부(536)는, 기억하고 있는 양자화 행렬에 관한 정보를, 과거에 전송된 양자화 행렬에 관한 정보로서, 예측부(532)에 공급한다.
이상과 같이, 행렬 생성부(410)가 전송 사이즈 이하의 사이즈의 양자화 행렬(차분 행렬)을 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트하므로, 화상 복호 장치(300)는 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[1-12. 양자화 행렬 복호 처리의 흐름]
도 21의 흐름도를 참조하여, 이상과 같은 행렬 생성부(410)에 의해 실행되는 양자화 행렬 복호 처리의 흐름의 예를 설명한다.
양자화 행렬 복호 처리가 개시되면, 스텝 S301에 있어서, 파라미터 해석부(531)는 영역 0 내지 영역 3의 양자화값(Qscale0 내지 Qscale3)을 읽어 들인다.
파라미터 해석부(531)는 스텝 S302에 있어서, pred_mode를 읽어 들이고, 스텝 S303에 있어서, pred_mode가 0인지 여부를 판정한다. pred_mode가 0이라고 판정된 경우, 파라미터 해석부(531)는 카피 모드라고 판정하고, 처리를 스텝 S304로 진행시킨다.
스텝 S304에 있어서, 파라미터 해석부(531)는, pred_matrix_id_delta를 읽어 들인다. 스텝 S305에 있어서, 카피부(541)는 전송 완료의 양자화 행렬을 복제하고, 예측 행렬로 한다. 카피 모드의 경우, 그 예측 행렬이 커런트 영역의 양자화 행렬로서 출력된다. 스텝 S305의 처리가 종료되면, 카피부(541)는 양자화 행렬 복호 처리를 종료한다.
또한, 스텝 S303에 있어서, pred_mode가 0이 아니라고 판정된 경우, 파라미터 해석부(531)는 전체 스캔 모드(통상의 경우)라고 판정하고, 처리를 스텝 S306으로 진행시킨다.
스텝 S306에 있어서, 파라미터 해석부(531)는 pred_matrix_id_delta, pred_size_id_delta 및 residual_flag를 읽어 들인다. 스텝 S307에 있어서, 예측 행렬 생성부(542)는 전송 완료의 양자화 행렬로부터 예측 행렬을 생성한다.
스텝 S308에 있어서, 파라미터 해석부(531)는 residual_flag가 true인지 여부를 판정한다. residual_flag가 true가 아니라고 판정된 경우, 잔차 행렬이 존재하지 않으므로, 스텝 S307에 있어서 생성된 예측 행렬이, 커런트 영역의 양자화 행렬로서 출력된다. 따라서, 이 경우, 파라미터 해석부(531)는 양자화 행렬 복호 처리를 종료한다.
또한, 스텝 S308에 있어서, residual_flag가 true라고 판정된 경우, 파라미터 해석부(531)는 처리를 스텝 S309로 진행시킨다.
스텝 S309에 있어서, 파라미터 해석부(531)는 residual_down_sampling_flag 및 residual_symmetry_flag를 읽어 들인다.
스텝 S310에 있어서, expG부(551) 및 역 DPCM부(552)는 잔차 행렬의 확장 골롬 부호를 복호하고, 잔차 데이터를 생성한다.
스텝 S311에 있어서, 역중복 판정부(553)는 residual_symmetry_flag가 true인지 여부를 판정한다. residual_symmetry_flag가 true라고 판정된 경우, 역중복 판정부(553)는 처리를 스텝 S312로 진행시키고, 그 잔차 데이터의, 삭제된 중복 부분을 복원한다(inverse symmetry 처리를 행함). 이와 같이 하여 135° 대칭 행렬인 차분 행렬이 생성되면, 역중복 판정부(553)는 처리를 스텝 S313으로 진행시킨다.
또한, 스텝 S311에 있어서, residual_symmetry_flag가 true가 아니라고 판정된 경우(잔차 데이터가, 135° 대칭 행렬이 아닌 차분 행렬인 경우), 역중복 판정부(553)는 스텝 S312의 처리를 생략하고(inverse symmetry 처리를 행하지 않고), 처리를 스텝 S313으로 진행시킨다.
스텝 S313에 있어서, 차분 행렬 사이즈 변환부(562)는 residual_down_sampling_flag가 true인지 여부를 판정한다. residual_down_sampling_flag가 true라고 판정된 경우, 차분 행렬 사이즈 변환부(562)는 처리를 스텝 S314로 진행시키고, 차분 행렬을, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트한다. 차분 행렬을 업컨버트하면 차분 행렬 사이즈 변환부(562)는, 처리를 스텝 S315로 진행시킨다.
또한, 스텝 S313에 있어서, residual_down_sampling_flag가 true가 아니라고 판정된 경우, 차분 행렬 사이즈 변환부(562)는 스텝 S312의 처리를 생략하고(차분 행렬을 업컨버트하지 않고), 처리를 스텝 S315로 진행시킨다.
스텝 S315에 있어서, 연산부(564)는 예측 행렬에 차분 행렬을 가산하고, 커런트 영역의 양자화 행렬을 생성한다. 스텝 S315의 처리가 종료하면, 양자화 행렬 복호 처리가 종료된다.
이상과 같이, 양자화 행렬 복호 처리를 행함으로써, 화상 복호 장치(300)는 양자화 행렬의 부호량의 증가를 억제할 수 있다.
<2. 제2 실시 형태>
[2-1. 행렬 처리부의 다른 예]
도 22는, 본 기술을 적용한 행렬 처리부(150)의 다른 구성예를 나타내는 블록도이다.
도 22의 예의 경우, 행렬 처리부(150)는 도 4의 구성의 차분 행렬 사이즈 변환부(163)가 생략되어 있다. 즉, 양자화부(183)의 출력은, 엔트로피 부호화부(164)의 중복 판정부(191)에 공급된다.
또한, 도 22의 행렬 처리부(150)는 양자화 행렬 사이즈 변환부(701)를 갖는다.
양자화 행렬 사이즈 변환부(701)는 행렬 처리부(150)에 입력되는 양자화 계수의 사이즈를, 전송 시의 최대 사이즈(전송 사이즈) 이하의 소정의 사이즈로 컨버트한다. 이 컨버트 후의 사이즈는, 전송 사이즈 이하인 한 임의이지만, 취할 수 있는 범위의 최소 사이즈로 함으로써, 양자화 행렬의 부호량을 가능한 한 저감시킬 수 있음과 함께, 양자화 행렬 사이즈 변환부(701)나 예측 행렬 사이즈 변환부(181)의 처리를 다운컨버트만으로 할 수 있어, 양자화 행렬 사이즈 변환부(701)나 예측 행렬 사이즈 변환부(181)의 처리를 간이화(용이화)할 수 있다.
이 경우, 예측 행렬 사이즈 변환부(181)는 예측 행렬을, 이 양자화 행렬의 다운컨버트 후의 사이즈로 컨버트한다.
또한, 제1 실시 형태의 경우와 마찬가지로, 이들 컨버트(다운컨버트)의 방법은 임의이며, 다운샘플링이어도 되고, 서브샘플이어도 된다.
즉, 이 경우, 양자화 행렬 사이즈 변환부(701)에 의한 컨버트 후의 양자화 행렬과 동일한 사이즈의 차분 행렬이 부호화되어 전송된다.
따라서, 이 경우에도 화상 부호화 장치(10)는, 제1 실시 형태의 경우와 마찬가지로, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[2-2. 양자화 행렬 부호화 처리의 흐름의 다른 예]
이 경우의 양자화 행렬 부호화 처리의 흐름의 예는, 도 23에 도시된 흐름도와 같아진다.
즉, 양자화 행렬 부호화 처리가 개시되면, 양자화 행렬 사이즈 변환부(701)는, 스텝 S601에 있어서, 커런트 영역의 양자화 행렬을 취득하면, 스텝 S602에 있어서, 그 양자화 행렬을, 미리 정해진 소정의 사이즈로 다운컨버트한다.
스텝 S603 내지 스텝 S608의 각 처리는, 도 7의 스텝 S102 내지 스텝 S107의 각 처리와 마찬가지로 실행된다. 도 7의 스텝 S108 및 스텝 S109에 대응하는 처리는 행해지지 않고(생략되고), 스텝 S609 내지 스텝 S616의 각 처리는, 도 7의 스텝 S110 내지 스텝 S117의 각 처리와 마찬가지로 실행된다.
행렬 처리부(150)가, 이상과 같이 양자화 행렬 부호화 처리를 행함으로써, 화상 부호화 장치(10)는 제1 실시 형태의 경우와 마찬가지로, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[2-3. 행렬 생성부의 다른 예]
도 24는, 화상 복호 장치(300)의 행렬 생성부(410)의 다른 구성예를 나타내는 블록도이다. 도 24에 도시한 행렬 생성부(410)는, 도 22의 행렬 처리부(150)에 대응하는 처리부이다. 즉, 도 24에 도시한 행렬 생성부(410)는, 도 22의 행렬 처리부(150)에 의해 생성된 양자화 행렬에 관한 부호화 데이터(각종 플래그나 파라미터와 차분 행렬로부터 생성된 확장 골롬 부호 등)를 복호하고, 커런트 영역의 양자화 행렬을 복원한다.
이 경우에도, 행렬 생성부(410)는, 기본적으로 도 19의 예와 마찬가지의 구성을 갖지만, 도 19의 예와 달리, 차분 행렬 사이즈 변환부(562)는 생략된다. 따라서, 역중복 판정부(553)로부터 출력되는 차분 행렬은, 역양자화부(563)에 공급된다.
또한, 도 24의 예의 경우, 행렬 생성부(410)는, 도 19의 예의 경우와 달리, 양자화 행렬 사이즈 변환부(721)를 갖는다.
이 양자화 행렬 사이즈 변환부(721)는, 도 22의 양자화 행렬 사이즈 변환부(701)에 대응하고, 양자화 행렬 사이즈 변환부(701)의 처리의 역처리를 행하는 처리부이다. 즉, 양자화 행렬 사이즈 변환부(721)는, 전송 시에 허용되는 최대 사이즈(전송 사이즈)보다도 작은 양자화 행렬을, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트한다.
양자화 행렬 사이즈 변환부(721)는, 연산부(564)가 차분 행렬로 예측 행렬을 가산하여 생성한 양자화 행렬을 취득한다. 이 양자화 행렬의 사이즈는, 양자화 행렬 사이즈 변환부(701)에 의해 다운컨버트된 후의 사이즈이다. 양자화 행렬 사이즈 변환부(721)는, 그 양자화 행렬의 사이즈를, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트한다. 양자화 행렬 사이즈 변환부(721)는, 업컨버트한 양자화 행렬을 출력부(535)에 공급하여, 역양자화부(440)에 공급시키거나, 기억부(536)에 공급하여 기억시키거나 한다.
따라서, 이 경우에도, 행렬 생성부(410)가 전송 사이즈 이하로 다운컨버트되어 전송된 양자화 행렬을 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트하므로, 화상 복호 장치(300)는 양자화 행렬의 부호량의 증가를 억제할 수 있다.
이 경우의 양자화 행렬 복호 처리의 흐름은, 기본적으로, 도 21의 흐름도를 참조하여 설명한 바와 같다. 단, 스텝 S314에 있어서 잔차 행렬이 업컨버트되는 대신에, 양자화 행렬 사이즈 변환부(721)가 스텝 S315의 처리에 의해 생성된 양자화 행렬을 업컨버트한다.
행렬 생성부(410)가, 이상과 같이 양자화 행렬 복호 처리를 행함으로써, 화상 복호 장치(300)는, 제1 실시 형태의 경우와 마찬가지로, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
<3. 제3 실시 형태>
[업컨버트]
도 25는, 차분 행렬의 전송의 모습의 예를 설명하는 도면이다. 화상 부호화 장치(10: 도 1)로부터 화상 복호 장치(300: 도 16)로의 전송 시의 양자화 행렬(양자화 행렬과 그 예측 행렬과의 차분 행렬)의 사이즈는, 미리 정해진 소정의 최대 사이즈(전송 사이즈) 이하의 사이즈로 제한된다. 예를 들어, 화상 부호화 장치(10)로부터 화상 복호 장치(300)로 전송되는 양자화 행렬의 사이즈는, 미리 준비되는 기초 행렬('디폴트 양자화 행렬'이라고도 칭함)의 사이즈('디폴트 양자화 행렬 사이즈'라고도 칭함)와 동일한 사이즈로 제한된다. 즉, 이 경우, 전송 사이즈는, 디폴트 양자화 행렬 사이즈의 최댓값으로 된다. 예를 들어, 디폴트 양자화 행렬로서 4×4의 양자화 행렬과 8×8의 양자화 행렬이 설정된다고 하면, 전송 사이즈는 8×8이다.
즉, 화상 부호화 장치(10)는, 양자화 처리에 있어서 사용된 양자화 행렬이 그 전송 사이즈보다 큰 경우, 양자화 행렬이나 예측 행렬을 그 전송 사이즈 이하로 다운컨버트하거나, 혹은, 구한 차분 행렬을 전송 사이즈 이하로 다운컨버트함으로써, 그 전송 사이즈 이하의 차분 행렬을 생성한다. 이 다운컨버트는, 예를 들어, 차분 행렬 사이즈 변환부(163), 예측 행렬 사이즈 변환부(181) 및 양자화 행렬 사이즈 변환부(701) 등에 있어서 행해진다.
화상 복호 장치(300)는, 전송된 차분 행렬, 혹은, 그 차분 행렬로부터 구한 양자화 행렬을, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트하고, 역양자화 처리에 있어서 사용한다. 즉, 전송 사이즈가, 디폴트 양자화 행렬 사이즈의 최댓값인 경우, 화상 복호 장치(300)는 디폴트 양자화 행렬 사이즈와 동일한 사이즈의 양자화 행렬을 수취한다. 예를 들어, 화상 복호 장치(300)는 디폴트 양자화 행렬의 최대 사이즈와 동일한 사이즈의 양자화 행렬을 수취한다. 화상 복호 장치(300)는 수취한 양자화 행렬을 이용하거나, 혹은, 그 양자화 행렬을 업컨버트하여 얻어진 양자화 행렬을 이용하여 역양자화 처리를 행한다. 또한, 이 업컨버트는, 예를 들어, 차분 행렬 사이즈 변환부(562), 예측 행렬 사이즈 변환부(561) 및 양자화 행렬 사이즈 변환부(721) 등에 있어서 행해진다.
또한, 화상 부호화 장치(10)는, 양자화 처리에 있어서 사용된 양자화 행렬(차분 행렬)과는 별도의, 전송 시에 허용되는 최대 사이즈(전송 사이즈)보다도 작은 사이즈의 양자화 행렬(차분 행렬)을 화상 복호 장치(300)로 전송할 수도 있다. 예를 들어, 화상 부호화 장치(10)는, 서로 사이즈가 다른 복수의 양자화 행렬(차분 행렬)을 준비하고, 그 중에서 선택한 양자화 행렬을 양자화 처리에 이용할 수 있다. 그 경우, 화상 부호화 장치(10)는 준비된 행렬군 중의, 전송 사이즈보다도 큰 사이즈의 양자화 행렬을 이용하여 양자화 처리를 행할 때, 그 양자화 행렬을 다운컨버트하는 대신에, 그 행렬군 중의, 전송 사이즈보다도 작은 사이즈의 양자화 행렬(차분 행렬)을 전송하도록 할 수도 있다. 즉, 이 경우, 화상 부호화 장치(10)에 있어서의 사이즈 변환(다운컨버트)이 생략된다. 부언하면, 화상 부호화 장치(10)가 전송 사이즈보다도 작은 사이즈의 양자화 행렬(차분 행렬)을 업컨버트하여 양자화 처리를 행할 수도 있다. 이 경우도 마찬가지로, 화상 부호화 장치(10)에 있어서의 사이즈 변환(다운컨버트)이 생략된다.
어쨌든, 실제로 사이즈 변환(다운컨버트)이 행해지는지 여부에 관계없이, 전송 사이즈 이하인 사이즈의 양자화 행렬(차분 행렬)만이 전송된다. 즉, 화상 복호 장치(300)는 화상 부호화 장치(10)에 있어서 실제로 사이즈 변환(다운컨버트)이 행해졌는지 여부에 관계없이, 전송된 양자화 행렬을, 역양자화하는 커런트 영역(예를 들어 CU나 TU 등)에 따른 사이즈로 사이즈 변환(업컨버트)한다.
양자화 처리에 있어서 사용되었을 때의 사이즈와, 전송 시의 사이즈가 동일한 경우에만, 화상 복호 장치(300)는 양자화 행렬(차분 행렬)의 사이즈 변환(업컨버트)을 생략한다(1배의 사이즈 변환을 행하도록 해도 된다).
예를 들어, 전송 사이즈를 8×8로 한다. 이 경우, 예를 들어, 차분 행렬은 8×8의 정방 행렬이나 4×4의 정방 행렬로서 전송된다. 예를 들어, 도 25의 상단에 도시된 바와 같이, 8×8의 정방 행렬로서 전송되는 경우, 차분 행렬은, 화상 복호 장치(300)에 있어서, 16×16의 정방 행렬이나, 32×32의 정방 행렬 등, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트된다. 또한, 예를 들어, 도 25의 하단에 도시된 바와 같이, 4×4의 정방 행렬로서 전송되는 경우, 차분 행렬은 8×8의 정방 행렬 등, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트된다.
물론, 이 차분 행렬은, 도 25에 도시된 예 이외의 사이즈(예를 들어, 64×64의 정방 행렬)로의 업컨버트도 가능하다.
또한, 역양자화하는 커런트 영역의 사이즈가 전송된 양자화 행렬의 사이즈와 동등한 경우, 이 업컨버트는 생략되고(혹은, 1배의 사이즈 변환이 행해지고), 8×8의 차분 행렬은 8×8의 정방 행렬인 채로 이용된다. 마찬가지로, 4×4의 차분 행렬은, 4×4의 정방 행렬인 채로 이용된다.
예를 들어, 화상 부호화 장치(10)는 4×4의 양자화 행렬을 이용하여 4×4의 블록에 대한 양자화를 행하고, 8×8의 양자화 행렬을 이용하여 8×8의 블록에 대한 양자화를 행하고, 8×8의 양자화 행렬을 업컨버트하여 16×16의 양자화 행렬을 생성하고, 그 16×16의 양자화 행렬을 이용하여 16×16의 블록에 대한 양자화를 행하고, 8×8의 양자화 행렬을 업컨버트하여 32×32의 양자화 행렬을 생성하고, 그 32×32의 양자화 행렬을 이용하여 32×32의 블록에 대한 양자화를 행하고, 4×4의 양자화 행렬과 8×8의 양자화 행렬을 화상 복호 장치(300)로 전송하는 것으로 한다. 이 경우에도, 화상 복호 장치(300)는 화상 부호화 장치(10)와 마찬가지로, 수취한 4×4의 양자화 행렬을 이용하여 4×4의 블록에 대한 양자화를 행하고, 수취한 8×8의 양자화 행렬을 이용하여 8×8의 블록에 대한 양자화를 행한다. 또한, 화상 복호 장치(300)는 화상 부호화 장치(10)와 마찬가지로, 수취한 8×8의 양자화 행렬을 업컨버트하여 16×16의 양자화 행렬을 생성하고, 그 16×16의 양자화 행렬을 이용하여 16×16의 블록에 대한 양자화를 행하고, 수취한 8×8의 양자화 행렬을 업컨버트하여 32×32의 양자화 행렬을 생성하고, 그 32×32의 양자화 행렬을 이용하여 32×32의 블록에 대한 양자화를 행한다.
다음으로, 화상 복호 장치(300)에 있어서의 사이즈 변환(업컨버트)의 모습에 대하여 설명한다. 도 26에 업컨버트의 모습의 예를 나타낸다. 이하에, 차분 행렬 사이즈 변환부(562: 도 19)에 의한 처리를 예로 설명한다.
업컨버트의 구체적인 방법은 임의이다. 예를 들어, 최근방 보간 처리(nearest neighbor)에 의해 실현된다. 최근방 보간 처리는, 보간 전의 행렬의 각 요소를 복제함으로써, 그 요소의 근방 요소를 보간하는 처리이다. 근방의 요소란, 보간 전의 행렬의 요소에 인접하는 요소, 혹은, 보간 전의 행렬의 요소 근방에 위치하는 요소이다.
예를 들어, 요소 수를 세로 방향 및 가로 방향으로 각각 2배로 하는 최근방 보간(×2 최근방 보간) 처리는, 보간 전의 행렬의 각 요소로부터 2×2의 정방 행렬을 생성하는 처리이다. 즉, 보간 전의 행렬의 각 요소를 이용하여 근방의 3 요소가 보간된다. 근방의 3 요소란, 예를 들어, 보간 전의 행렬의 요소 우측에 인접하는 요소, 하측에 인접하는 요소, 및 우측 하단에 인접하는 요소이다. 보간 전의 행렬의 각 요소에 대하여 이러한 처리가 행해짐으로써, 정방 행렬의 세로 방향 및 가로 방향의 요소 수가 각각 2배로 변환된다.
도 20의 예의 경우, 4×4의 정방 행렬이, 최근방 보간되고, 8×8의 정방 행렬이 생성된다. 도 20에 도시된 행렬에 있어서, 그레이로 표시된 사각이 보간 전의 행렬 요소이다. 이 각 요소가 복제되고, 각각의 근방의 요소(도 20에 도시된 행렬의 흰 바탕으로 표시된 사각)가 보간된다.
물론, 이들 이외의 위치의 요소(예를 들어, 상측에 인접하는 요소나 좌측에 인접하는 요소 등)를 근방의 3 요소로 해도 된다. 처리순에 따른 방향으로 보간하도록 하는 것이 바람직하다. 또한, 보간 시에 원래의 요소를 복제하도록 설명하였지만, 소정의 연산에 의해 보간하는 요소의 값을 결정하도록 해도 된다. 단, 전술한 바와 같이 복제함으로써, 보간 처리의 부하를 저감시킬 수 있다(보다 용이하게 보간을 행할 수 있음).
도 26으로 되돌아가서, 전송된 차분 행렬은, 복수의 사이즈로 업컨버트할 수 있다. 예를 들어, 도 26에 도시된 바와 같이, 8×8의 차분 행렬은, 16×16의 정방 행렬이나 32×32의 정방 행렬로 업컨버트 가능하다.
예를 들어, 8×8의 차분 행렬은, ×2 최근방 보간 처리를 행함으로써, 16×16의 차분 행렬로 업컨버트된다. 또한, 그 16×16의 차분 행렬에 대하여 ×2 최근방 보간 처리를 행함으로써, 32×32의 차분 행렬로 업컨버트된다. 물론, 또한 ×2 최근방 보간 처리를 반복함으로써, 64×64 이상의 정방 행렬로의 업컨버트도 가능하다. 즉, ×2 최근방 보간 처리를 반복하여 행함으로써, 그 반복된 횟수에 따른 사이즈의 정방 행렬로의 업컨버트가 가능해진다.
또한, 최근방 보간 처리에 의한 행렬의 확대비는 임의이며, 전술한 2배로 한정되지 않는다. 예를 들어, 요소 수를 세로 방향 및 가로 방향으로 각각 4배로 하는 최근방 보간(×4 최근방 보간) 처리도 실현 가능하다. ×4 최근방 보간 처리도, 확대비가 서로 다를 뿐으로, 기본적으로 ×2 최근방 보간 처리와 마찬가지이다. 즉, ×4 최근방 보간 처리의 경우, 보간 전의 행렬의 각 요소로부터, 그 요소를 좌측 상단으로 하는 4×4의 정방 행렬이 생성된다. 즉, 보간 전의 행렬의 1 요소로부터 그 근방의 15 요소가 보간된다. 보간 전의 행렬의 각 요소에 대하여 이러한 처리가 행해짐으로써, 정방 행렬의 세로 방향 및 가로 방향의 요소 수가 각각 4배로 변환된다.
도 26에 있어서 점선 화살표로 나타낸 바와 같이, 8×8의 차분 행렬에 대하여, 이 ×4 최근방 보간 처리를 행함으로써도, 32×32의 차분 행렬로의 업컨버트가 가능하다. 즉, 구체적으로는, 1개의 8×8의 양자화 행렬(혹은 차분 행렬)이 업컨버트되고, 16×16의 양자화 행렬(혹은 차분 행렬)과 32×32의 양자화 행렬(혹은 차분 행렬)의 양쪽이 생성되도록 하여도 되고, 16×16의 양자화 행렬(혹은 차분 행렬)과 32×32의 양자화 행렬(혹은 차분 행렬)이 서로 다른 8×8의 양자화 행렬(혹은 차분 행렬)을 업컨버트함으로써 생성되도록 해도 된다. 전자의 경우, 4×4의 양자화 행렬(혹은 차분 행렬)과 8×8의 양자화 행렬(혹은 차분 행렬)이 화상 부호화 장치(10)로부터 화상 복호 장치(300)로 전송되도록 하면 된다. 또한, 후자의 경우, 4×4의 양자화 행렬(혹은 차분 행렬), 16×16로 업컨버트할 수 있는 8×8의 양자화 행렬(혹은 차분 행렬) 및 32×32로 업컨버트할 수 있는 8×8의 양자화 행렬(혹은 차분 행렬)이 화상 부호화 장치(10)로부터 화상 복호 장치(300)로 전송되도록 하면 된다.
이상과 같이 최근방 보간을 이용함으로써, 차분 행렬 사이즈 변환부(562)는 용이하게 차분 행렬의 사이즈 변환을 행할 수 있다.
또한, 이와 같은 최근방 보간 처리는, 비정방 행렬로의 업컨버트에도 적용할 수 있다.
예를 들어, 8×8의 차분 행렬은, ×2 최근방 보간 처리가 행해짐으로써, 16×16의 정방 행렬로 변환되고, 또한, 그 정방 행렬의 소정의 라인의 요소를 씨닝 함으로써, 세로 4×가로 16의 비정방 행렬로 변환된다.
그 때, 16라인으로부터 4라인이 추출되면 되며, 씨닝하는 라인은 임의이다. 예를 들어, 4라인마다 어느 한쪽의 1라인이 추출되도록 해도 된다. 또한, 예를 들어, 위에서 1번째 라인, 5번째 라인, 9번째 라인, 13번째 라인이 추출되도록 해도 된다. 또한, 예를 들어, 위에서 3번째 라인, 7번째 라인, 11번째 라인, 15번째 라인이 추출되도록 해도 된다. 추출되는 라인은 미리 정해져 있어도 되며, 소정의 방법에 의해 16라인 중에서 임의의 4라인이(혹은, 4라인마다 1라인이) 선택되도록 해도 된다.
또한, 예를 들어, 8×8의 차분 행렬은, ×2 최근방 보간 처리가 2회 행해짐으로써, 혹은, ×4 최근방 보간 처리가 행해짐으로써, 32×32의 정방 행렬로 변환되고, 또한, 그 정방 행렬의 소정의 라인의 요소를 씨닝함으로써, 세로 8×가로 32의 비정방 행렬로 변환된다.
그 때, 전술한 세로 4×가로 16의 비정방 행렬의 경우와 마찬가지로, 32라인으로부터 8라인이 추출되면 되며, 씨닝하는 라인은 임의이다. 예를 들어, 위에서 1번째 라인, 5번째 라인, 9번째 라인, 13번째 라인, 17번째 라인, 21번째 라인, 25번째 라인 및 29번째 라인이 추출되도록 해도 된다. 추출되는 라인은 미리 정해져 있어도 되고, 소정의 방법에 의해 32라인 중에서 임의의 8라인이(혹은, 4라인마다 1라인이) 선택되도록 해도 된다.
이상에 있어서는, 세로:가로=1:4의 비정방 행렬로 변환하는 경우에 대하여 설명하였지만, 변환 후의 행렬 종횡비는 임의이다. 예를 들어, 정방 행렬의 요소를, 라인마다 씨닝하는 대신에, 라인의 경우와 마찬가지로 열마다 씨닝함으로써, 세로:가로=4:1의 비정방 행렬로의 사이즈 변환이 가능해진다.
또한, 예를 들어, "CE6.b1 Report on Short Distance Intra Prediction Method"(JCTVC-E278, 2011년 3월)에 있어서, 사이즈가 작은 비정방형의 예측 단위를 사용하여 부호화 효율을 향상시키는, 단거리 인트라 예측법(Short Distance Intra Prediction Method)을 제안하고 있다. 단거리 인트라 예측법에서는, 예를 들어 1×4 화소, 2×8 화소, 4×16 화소, 4×1 화소, 8×2 화소, 16×4 화소 등의 다양한 사이즈의 예측 단위가 화상 내에 설정될 수 있다. 이 경우, 예측 단위의 수직 방향의 사이즈 및 수평 방향의 사이즈 중 어느 사이즈가 보다 클지는, 예측 단위의 설정에 의존한다.
라인 혹은 열의 씨닝량을 조정함으로써, 이러한 다양한 종횡비의 비정방 행렬로의 사이즈 변환이 가능해진다. 예를 들어, 16×16의 정방 행렬로부터, 1라인 추출함으로써, 세로:가로=1:16의 비정방 행렬로의 사이즈 변환이 실현된다. 마찬가지로, 32×32의 정방 행렬로부터, 어느 쪽이든 2라인 추출함으로써, 세로:가로=2:32의 비정방 행렬로의 사이즈 변환이 실현된다.
이상과 같이 최근방 보간을 이용함으로써, 차분 행렬 사이즈 변환부(562)는 차분 행렬의 비정방 행렬로의 사이즈 변환도 용이하게 행할 수 있다.
이상에 있어서는, 최근방 보간 처리와 라인(혹은 열)의 씨닝을 병용함으로써, 비정방 행렬로의 사이즈 변환을 실현하도록 설명하였지만, 이에 한정하지 않으며, 예를 들어, 최근방 보간 처리만에 의해, 비정방 행렬로의 사이즈 변환을 실현할 수도 있다.
예를 들어, 도 27의 A에 도시된 바와 같이, 4×4 정방 행렬을 가로 방향에만4배(×4 수평 방향 최근방 보간)함으로써, 4×16의 비정방 행렬로의 사이즈 변환을 실현할 수 있다. ×4 수평 방향 최근방 보간은, 보간 전의 행렬의 각 요소로부터 1×4의 비정방 행렬을 생성하는 처리이다. 즉, 보간 전의 행렬의 각 요소를 이용하여 근방의 3 요소가 보간된다. 근방의 3 요소란, 예를 들어, 보간 전의 행렬의 요소 우측에 인접하여 가로 방향으로 배열하는 3 요소이다. 보간 전의 행렬의 각 요소에 대하여 이러한 처리가 행해짐으로써, 정방 행렬의 가로 방향 요소 수만이 4배로 된다.
또한 예를 들어, 도 27의 A에 도시된 바와 같이, 4×4 정방 행렬을 세로 방향에만 4배(×4 수직 방향 최근방 보간)로 함으로써, 16×4의 비정방 행렬로의 사이즈 변환을 실현할 수 있다. ×4 수직 방향 최근방 보간은, 보간 전의 행렬의 각 요소로부터 4×1의 비정방 행렬을 생성하는 처리이다. 즉, 보간 전의 행렬의 각 요소를 이용하여 근방의 3 요소가 보간된다. 근방의 3 요소란, 예를 들어, 보간 전의 행렬의 요소의 하측에 인접하여 세로 방향으로 배열하는 3 요소이다. 보간 전의 행렬의 각 요소에 대하여 이러한 처리가 행해짐으로써, 정방 행렬의 세로 방향의 요소 수만이 4배로 된다.
8×8의 정방 행렬도 마찬가지로 사이즈 변환할 수 있다. 예를 들어, 도 27의 B에 도시된 바와 같이, 8×8 정방 행렬에 대하여 ×4 수평 방향 최근방 보간 처리를 행함으로써, 8×32의 비정방 행렬로의 사이즈 변환을 실현할 수 있다. 또한, 예를 들어, 도 27의 B에 도시된 바와 같이, 8×8 정방 행렬에 대하여 ×4 수직 방향 최근방 보간 처리를 행함으로써, 32×8의 비정방 행렬로의 사이즈 변환을 실현할 수 있다.
이상과 같이 최근방 보간을 이용함으로써, 차분 행렬 사이즈 변환부(562)는 차분 행렬의 비정방 행렬로의 사이즈 변환도 용이하게 행할 수 있다.
또한, 전술한 바와 같은 최근방 보간을 사용한 사이즈 변환은, 임의의 사이즈의 행렬에 대하여 행할 수 있다. 또한, 양자화 행렬이나 예측 행렬을 사이즈 변환하는 경우에도, 전술한 차분 행렬의 경우와 마찬가지로, 최근방 보간을 이용하여 사이즈 변환할 수 있다. 즉, 양자화 행렬 사이즈 변환부(721)도 마찬가지로, 최근방 보간을 이용하여 용이하게 양자화 행렬의 사이즈 변환을 행할 수 있다. 예측 행렬 사이즈 변환부(561)도 마찬가지이다.
또한, 이상에 있어서는, 양자화 행렬, 예측 행렬, 또는, 그들 차분 행렬의 사이즈 변환 처리에 대하여 설명하였지만, 이 사이즈 변환 처리는, 실제로, 사이즈를 변환한 행렬을 생성하는 처리이어도 되지만, 실제로는 행렬의 데이터를 생성하지 않고, 메모리로부터의 행렬의 각 요소의 판독 방법을 설정하는 처리(행렬 데이터의 판독 제어)이어도 된다.
전술한 사이즈 변환 처리의 경우, 사이즈 변환 후의 행렬 각 요소는, 사이즈 변환 전의 행렬 중 어느 하나의 요소에 의해 구성된다. 즉, 예를 들어, 일부의 요소만을 판독하거나, 1개의 요소를 복수회 판독하거나 하는 등의 소정의 방법에 의해, 메모리에 저장되어 있는 사이즈 변환 전의 행렬의 요소를 판독하면, 사이즈 변환 후의 행렬을 생성할 수 있다. 다시 말하면, 그 각 요소의 판독 방법을 정의함(행렬 데이터의 판독 제어를 행함)으로써, 전술한 사이즈 변환이 실질적으로 실현된다. 이러한 방법을 이용함으로써, 사이즈 변환 후의 행렬 데이터를 메모리에 기입하는 등의 처리가 불필요해진다. 또한, 사이즈 변환 후의 행렬 데이터의 판독 방법은, 기본적으로 최근방 보간의 방법 등에 의해 결정되므로, 미리 준비되어 있는 복수의 선택지 중에서 적절한 것을 선택할 정도의, 비교적 저부하의 처리에서 실현 가능하다. 따라서, 이러한 방법을 이용함으로써, 사이즈 변환의 부하가 저감된다.
즉, 이상에 있어서 설명한 사이즈 변환 처리는, 실제로 사이즈 변환 후의 행렬 데이터의 생성 처리도 포함하지만, 이러한 행렬 데이터의 판독 제어도 포함한다.
이상에 있어서는, 차분 행렬이 다운컨버트되어 전송되거나, 다운컨버트된 양자화 행렬로부터 생성된 차분 행렬이 전송되도록 설명하였지만, 본 기술은, 양자화 행렬에 관한 정보의 부호량을 저감시킬 수 있으면 된다. 따라서, 이 예에 한정되지 않으며, 예를 들어, 예측 처리를 생략하고, 차분 행렬 대신에 커런트 영역의 양자화 행렬이 다운컨버트되어 전송되도록 해도 된다. 그 경우, 복호측에서는, 전송된 양자화 행렬을, 역양자화하는 커런트 영역에 따른 사이즈로 업컨버트하는 것만이어도 된다. 이 경우, 전송하는 양자화 행렬에 대하여 제1 실시 형태 내지 제3 실시 형태에 있어서 전술한 DPCM 부호화·복호를 이용한 부호화 처리·복호 처리는, 행해도 되고 행하지 않아도 된다. 물론, 이 전송하는 양자화 행렬에 대한 부호화 처리·복호 처리는, 어떠한 것이어도 되며, 전술한 예에 한정되지 않는다.
또한, 예를 들어, 양자화 행렬의 사이즈나 리스트 ID 등의, 양자화 행렬에 관한 파라미터나 플래그 등의 정보도, 예를 들어 전회 전송한 정보와의 차분을 취하고, 그 차분을 전송하는 등으로 하여, 그 부호량을 저감시키도록 해도 된다.
<4. 제4 실시 형태>
[다시점 화상 부호화·다시점 화상 복호에의 적용]
전술한 일련의 처리는, 다시점 화상 부호화·다시점 화상 복호에 적용할 수 있다. 도 28은, 다시점 화상 부호화 방식의 일례를 나타낸다.
도 28에 도시된 바와 같이, 다시점 화상은, 복수의 시점 화상을 포함하고, 그 복수의 시점 중 소정의 하나의 시점 화상이, 베이스 뷰의 화상으로 지정되어 있다. 베이스 뷰의 화상 이외의 각 시점 화상은, 논 베이스 뷰의 화상으로서 취급된다.
도 28과 같은 다시점 화상을 부호화·복호하는 경우, 각 뷰의 화상을 부호화·복호하지만, 이 각 뷰의 부호화·복호에 대하여 제1 실시 형태 내지 제3 실시 형태에 있어서 전술한 방법을 적용하도록 해도 된다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
또한, 각 뷰의 부호화·복호에 있어서, 제1 실시 형태 내지 제3 실시 형태에 있어서 전술한 방법에 있어서 사용되는 플래그나 파라미터를 공유하도록 해도 된다. 예를 들어, 양자화 행렬을, 각 뷰의 부호화·복호에 있어서 공유하도록 해도 된다. 물론, 이들 이외의 필요한 정보도, 각 뷰의 부호화·복호에 있어서 공유하도록 해도 된다.
예를 들어, 양자화 행렬을 시퀀스 파라미터 세트(SPS(Sequence Parameter Set))나 픽처 파라미터 세트(PPS(Picture Parameter Set))에 있어서 전송하는 경우, 그들(SPS나 PPS)이 뷰 간에서 공유되는 것이면, 양자화 행렬도 자연히 공유되게 된다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
또한, 베이스 뷰의 양자화 행렬의 행렬 요소를 뷰 간의 시차값에 따라서 변경하도록 해도 된다. 또한, 베이스 뷰의 양자화 행렬의 행렬 요소에 관하여 논 베이스 뷰 행렬 요소를 조정하기 위한 오프셋값을 전송하도록 해도 된다. 이들과 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
예를 들어, 뷰마다의 양자화 행렬을 미리 별도 전송하도록 해도 된다. 뷰마다 양자화 행렬을 변경하는 경우, 그 미리 전송한 양자화 행렬과의 차분을 나타내는 정보만을 전송하면 된다. 이 차분을 나타내는 정보는, 임의이다. 예를 들어, 4×4나 8×8을 단위로 하는 정보이어도 되고, 행렬끼리의 차분이어도 된다.
또한, 뷰 간에서, SPS나 PPS를 공유하지 않지만, 양자화 행렬을 공유할 때는, 다른 뷰의 SPS나 PPS를 참조할 수 있도록(즉, 다른 뷰의 양자화 행렬을 이용할 수 있도록) 해도 된다.
또한, 이와 같은 다시점 화상을, YUV의 각 화상과, 뷰 간의 시차량에 대응하는 깊이 화상(Depth)을 각각 컴포넌트로 하는 화상으로서 나타내는 경우, 각 컴포넌트(Y, U, V, Depth)의 화상에 대하여 서로 독립된 양자화 행렬을 이용하도록 해도 된다.
예를 들어, 깊이 화상(Depth)은 에지 화상이므로, 양자화 행렬은 불필요하다. 따라서, SPS나 PPS에 있어서 양자화 행렬의 이용이 지정되어 있는 경우이더라도, 깊이 화상(Depth)에 대해서는, 양자화 행렬을 적용하지 않도록(혹은 행렬 요소가 모두 동일(FLAT)한 양자화 행렬을 적용하도록) 해도 된다.
[다시점 화상 부호화 장치]
도 29는, 전술한 다시점 화상 부호화를 행하는 다시점 화상 부호화 장치를 나타내는 도면이다. 도 29에 도시된 바와 같이, 다시점 화상 부호화 장치(600)는 부호화부(601), 부호화부(602), 및 다중화부(603)를 갖는다.
부호화부(601)는 베이스 뷰 화상을 부호화하고, 베이스 뷰 화상 부호화 스트림을 생성한다. 부호화부(602)는 논 베이스 뷰 화상을 부호화하고, 논 베이스 뷰 화상 부호화 스트림을 생성한다. 다중화부(603)는, 부호화부(601)에 있어서 생성된 베이스 뷰 화상 부호화 스트림과, 부호화부(602)에 있어서 생성된 논 베이스 뷰 화상 부호화 스트림을 다중화하고, 다시점 화상 부호화 스트림을 생성한다.
이 다시점 화상 부호화 장치(600)의 부호화부(601) 및 부호화부(602)에 대하여 화상 부호화 장치(10: 도 1)를 적용할 수 있다. 즉, 예를 들어, 전술한 바와 같이, 부호화부(601) 및 부호화부(602)는 서로 동일한 양자화 행렬을 이용하여, 양자화 처리 등을 행할 수 있다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[다시점 화상 복호 장치]
도 30은, 전술한 다시점 화상 복호를 행하는 다시점 화상 복호 장치를 나타내는 도면이다. 도 30에 도시된 바와 같이, 다시점 화상 복호 장치(610)는, 역다중화부(611), 복호부(612), 및 복호부(613)를 갖는다.
역다중화부(611)는, 베이스 뷰 화상 부호화 스트림과 논 베이스 뷰 화상 부호화 스트림이 다중화된 다시점 화상 부호화 스트림을 역다중화하고, 베이스 뷰 화상 부호화 스트림과, 논 베이스 뷰 화상 부호화 스트림을 추출한다. 복호부(612)는, 역다중화부(611)에 의해 추출된 베이스 뷰 화상 부호화 스트림을 복호하고, 베이스 뷰 화상을 얻는다. 복호부(613)는, 역다중화부(611)에 의해 추출된 논 베이스 뷰 화상 부호화 스트림을 복호하고, 논 베이스 뷰 화상을 얻는다.
이 다시점 화상 복호 장치(610)의 복호부(612) 및 복호부(613)에 대하여 화상 복호 장치(300: 도 16)를 적용할 수 있다. 즉, 예를 들어, 전술한 바와 같이, 복호부(612) 및 복호부(613)는, 서로 동일한 양자화 행렬을 이용하여, 역양자화 처리 등을 행할 수 있다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
<5. 제5 실시 형태>
[계층 화상 부호화·계층 화상 복호에의 적용]
전술한 일련의 처리는, 계층 화상 부호화·계층 화상 복호에 적용할 수 있다. 도 31은, 계층 화상 부호화 방식의 일례를 나타낸다.
도 31에 도시된 바와 같이, 계층 화상은, 복수의 계층 화상을 포함하고, 그 복수의 계층 중 소정의 하나의 계층의 화상이, 베이스 레이어의 화상으로 지정되어 있다. 베이스 레이어의 화상 이외의 각 계층의 화상은, 논 베이스 레이어('인핸스먼트 레이어'라고도 칭함)의 화상으로서 취급된다.
도 31과 같은 계층 화상을 부호화·복호하는 경우, 각 계층의 화상을 부호화·복호하지만, 이 각 계층의 부호화·복호에 대하여 전술한 방법을 적용하도록 해도 된다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
또한, 각 계층의 부호화·복호에 있어서, 제1 실시 형태 내지 제3 실시 형태에 있어서 전술한 방법에 있어서 사용되는 플래그나 파라미터를 공유하도록 해도 된다. 예를 들어, 양자화 행렬을, 각 계층의 부호화·복호에 있어서 공유하도록 해도 된다. 물론, 이들 이외의 필요한 정보도, 각 계층의 부호화·복호에 있어서 공유하도록 해도 된다.
이와 같은 계층 화상의 예로서, 공간 해상도에 의해 계층화된 것('공간 해상도 스케일러빌리티'라고도 칭함)이 있다(spatial scalability). 공간 해상도 스케일러빌리티를 갖는 계층 화상의 경우, 계층마다 화상의 해상도가 서로 다르다. 예를 들어, 공간적으로 가장 저해상도의 화상 계층이 베이스 레이어로 되고, 베이스 레이어보다도 고해상도의 화상 계층이 논 베이스 레이어(인핸스먼트 레이어)로 된다.
논 베이스 레이어(인핸스먼트 레이어)의 화상 데이터는, 다른 계층으로부터 독립한 데이터로 하고, 베이스 레이어의 경우와 마찬가지로, 그 화상 데이터만에 의해 그 계층의 해상도 화상을 얻을 수 있도록 해도 되지만, 그 계층의 화상과 다른 계층(예를 들어 1개 아래의 계층)의 화상과의 차분 화상에 대응하는 데이터로 하는 것이 일반적이다. 이 경우, 베이스 레이어의 계층 해상도 화상은, 그 베이스 레이어의 화상 데이터만에 의해 얻어지지만, 논 베이스 레이어(인핸스먼트 레이어)의 계층 해상도 화상은, 그 계층의 화상 데이터와, 다른 계층(예를 들어 1개 아래의 계층)의 화상 데이터를 합성함으로써 얻어진다. 이와 같이 함으로써, 계층 간의 화상 데이터의 용장성을 억제할 수 있다.
이와 같은 공간 해상도 스케일러빌리티를 갖는 계층 화상은, 계층마다 화상의 해상도가 서로 다르므로, 각 계층의 부호화·복호의 처리 단위의 해상도도 서로 다르다. 따라서, 각 계층의 부호화·복호에 있어서 양자화 행렬을 공유하는 경우, 양자화 행렬을 각 계층의 해상도 비에 따라서 업컨버트하도록 해도 된다.
예를 들어, 베이스 레이어의 화상 해상도를 2K(예를 들어 1920×1080)로 하고, 논 베이스 레이어(인핸스먼트 레이어)의 화상의 해상도를 4K(예를 들어, 3840×2160)로 한다. 이 경우, 예를 들어, 베이스 레이어의 화상(2K 화상)의 16×16은, 논 베이스 레이어의 화상(4K 화상)의 32×32에 상당한다. 양자화 행렬도 이러한 해상도비에 따라서 적절히 업컨버트한다.
예를 들어, 베이스 레이어의 양자화·역양자화에 이용되는 4×4의 양자화 행렬은, 논 베이스 레이어의 양자화·역양자화에 있어서 8×8로 업컨버트되어 사용된다. 마찬가지로, 베이스 레이어의 8×8의 양자화 행렬은, 논 베이스 레이어에 있어서 16×16으로 업컨버트된다. 마찬가지로, 베이스 레이어에 있어서 16×16으로 업컨버트되어 사용되는 양자화 행렬은, 논 베이스 레이어에 있어서 32×32로 업컨버트된다.
또한, 스케일러빌리티성을 갖게 하는 파라미터는, 공간 해상도에 한정되지 않으며, 예를 들어, 시간 해상도가 있다(temporal scalability). 시간 해상도 스케일러빌리티를 갖는 계층 화상의 경우, 계층마다 화상의 프레임 레이트가 서로 다르다. 또한, 그 밖에도, 예를 들어, 계층마다 화상 데이터의 비트 심도가 서로 다른 비트 심도 스케일러빌리티(bit-depth scalability)나, 계층마다 컴포넌트의 포맷이 서로 다른 크로마 스케일러빌리티(chroma scalability) 등이 있다.
또한, 그 밖에도, 예를 들어, 계층마다 화상의 신호 잡음비(SNR(Signal to Noise ratio))가 서로 다른 SNR 스케일러빌리티(SNR scalability)가 있다.
화질 향상을 위해서는, 신호 잡음비가 낮은 화상일수록, 양자화 오차를 보다 작게 하는 것이 바람직하다. 그로 인해, SNR 스케일러빌리티의 경우, 각 계층의 양자화·역양자화에는, 신호 잡음비에 따른, 서로 다른 양자화 행렬(공통이 아닌 양자화 행렬)이 이용되도록 하는 것이 바람직하다. 그로 인해, 전술한 바와 같이 양자화 행렬을 계층 간에서 공유하는 경우, 베이스 레이어의 양자화 행렬의 행렬 요소에 관하여, 인핸스먼트 레이어의 행렬 요소를 조정하기 위한 오프셋값을 전송하도록 해도 된다. 보다 구체적으로는, 그 공통의 양자화 행렬과, 실제로 이용되는 양자화 행렬과의 차분을 나타내는 정보를, 계층마다 전송하도록 해도 된다. 예를 들어, 각 계층의 시퀀스 파라미터 세트(SPS(Sequence Parameter Set))나 픽처 파라미터 세트(PPS(Picture Parameter Set))에 있어서, 그 차분을 나타내는 정보를 전송하도록 해도 된다. 이 차분을 나타내는 정보는, 임의이다. 예를 들어, 양쪽 양자화 행렬의 요소마다의 차분값을 요소로 하는 행렬이어도 되고, 차분을 나타내는 함수이어도 된다.
[계층 화상 부호화 장치]
도 32는, 전술한 계층 화상 부호화를 행하는 계층 화상 부호화 장치를 나타내는 도면이다. 도 32에 도시된 바와 같이, 계층 화상 부호화 장치(620)는 부호화부(621), 부호화부(622), 및 다중화부(623)를 갖는다.
부호화부(621)는, 베이스 레이어 화상을 부호화하고, 베이스 레이어 화상 부호화 스트림을 생성한다. 부호화부(622)는, 논 베이스 레이어 화상을 부호화하고, 논 베이스 레이어 화상 부호화 스트림을 생성한다. 다중화부(623)는, 부호화부(621)에 있어서 생성된 베이스 레이어 화상 부호화 스트림과, 부호화부(622)에 있어서 생성된 논 베이스 레이어 화상 부호화 스트림을 다중화하고, 계층 화상 부호화 스트림을 생성한다.
이 계층 화상 부호화 장치(620)의 부호화부(621) 및 부호화부(622)에 대하여, 화상 부호화 장치(10: 도 1)를 적용할 수 있다. 즉, 예를 들어, 전술한 바와 같이, 부호화부(621) 및 부호화부(622)는 서로 동일한 양자화 행렬을 이용하여, 양자화 처리 등을 행할 수 있다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
[계층 화상 복호 장치]
도 33은, 전술한 계층 화상 복호를 행하는 계층 화상 복호 장치를 나타내는 도면이다. 도 33에 도시된 바와 같이, 계층 화상 복호 장치(630)는, 역다중화부(631), 복호부(632), 및 복호부(633)를 갖는다.
역다중화부(631)는, 베이스 레이어 화상 부호화 스트림과 논 베이스 레이어 화상 부호화 스트림이 다중화된 계층 화상 부호화 스트림을 역다중화하고, 베이스 레이어 화상 부호화 스트림과, 논 베이스 레이어 화상 부호화 스트림을 추출한다. 복호부(632)는, 역다중화부(631)에 의해 추출된 베이스 레이어 화상 부호화 스트림을 복호하고, 베이스 레이어 화상을 얻는다. 복호부(633)는, 역다중화부(631)에 의해 추출된 논 베이스 레이어 화상 부호화 스트림을 복호하고, 논 베이스 레이어 화상을 얻는다.
이 계층 화상 복호 장치(630)의 복호부(632) 및 복호부(633)에 대하여 화상 복호 장치(300: 도 16)를 적용할 수 있다. 즉, 예를 들어, 전술한 바와 같이, 복호부(632) 및 복호부(633)는, 서로 동일한 양자화 행렬을 이용하여, 양자화 처리 등을 행할 수 있다. 이와 같이 함으로써, 양자화 행렬의 부호량의 증가를 억제할 수 있다.
<6. 제6 실시 형태>
[컴퓨터]
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들어, 도 34에 도시한 바와 같은 컴퓨터로서 구성되도록 해도 된다.
도 34에 있어서, 컴퓨터(800)의 CPU(801: Central Processing Unit)는, ROM(802: Read Only Memory)에 기억되어 있는 프로그램, 또는 기억부(813)로부터 RAM(803: Random Access Memory)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(803)에는 또한, CPU(801)가 각종 처리를 실행하는데 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(801), ROM(802) 및 RAM(803)은, 버스(804)를 통해 서로 접속되어 있다. 이 버스(804)에는 또한, 입출력 인터페이스(810)도 접속되어 있다.
입출력 인터페이스(810)에는, 키보드, 마우스, 터치 패널, 및 입력 단자 등으로 이루어지는 입력부(811), CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), 및 OELD(Organic ElectroLuminescence Display) 등으로 이루어지는 디스플레이와 스피커 등의 임의의 출력 디바이스나 출력 단자 등으로 이루어지는 출력부(812), 하드디스크나 플래시 메모리 등의 임의의 기억 매체나 그 기억 매체의 입출력을 제어하는 제어부 등에 의해 구성되는 기억부(813), 모뎀, LAN 인터페이스, USB(Universal Serial Bus)와 Bluetooth(등록상표) 등, 유선이나 무선의 임의의 통신 디바이스로 이루어지는 통신부(814)가 접속되어 있다. 통신부(814)는, 예를 들어 인터넷을 포함하는 네트워크를 통해 다른 통신 디바이스와의 통신 처리를 행한다.
입출력 인터페이스(810)에는 또한, 필요에 따라서 드라이브(815)가 접속된다. 그 드라이브(815)에는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(821)가 적절히 장착된다. 드라이브(815)는, 예를 들어 CPU(801)의 제어에 따라서, 자신에 장착된 리무버블 미디어(821)로부터 컴퓨터 프로그램이나 데이터 등을 판독한다. 그 판독된 데이터나 컴퓨터 프로그램은, 예를 들어, RAM(803)에 공급된다. 또한, 리무버블 미디어(821)로부터 판독된 컴퓨터 프로그램은, 필요에 따라서 기억부(813)에 인스톨된다.
전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들어, 도 34에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기 디스크(MD(Mini Disc)를 포함함), 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(821)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태에서 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(802)이나, 기억부(813)에 포함되는 하드디스크 등으로 구성된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 이상에 있어서, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 전술한 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다. 즉, 본 기술의 실시 형태는, 전술한 실시 형태에 한정되는 것이 아니라, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
전술한 실시 형태에 따른 화상 부호화 장치(10: 도 1) 및 화상 복호 장치(300: 도 16)는 위성 방송, 케이블 TV 등의 유선 방송, 인터넷상에서의 배신, 및 셀룰러 통신에 의한 단말기에의 배신 등에 있어서의 송신기 혹은 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는, 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다. 이하, 4가지 응용예에 대하여 설명한다.
<7. 제7 실시 형태>
[텔레비전 장치]
도 35는, 전술한 실시 형태를 적용한 텔레비전 장치의 개략적인 구성의 일례를 나타내고 있다. 텔레비전 장치(900)는 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스(909), 제어부(910), 유저 인터페이스(911), 및 버스(912)를 구비한다.
튜너(902)는, 안테나(901)를 통해서 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(902)는 복조에 의해 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다. 즉, 튜너(902)는 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에 있어서의 전송부로서의 역할을 갖는다.
디멀티플렉서(903)는, 부호화 비트 스트림으로부터 시청 대상의 프로그램의 영상 스트림 및 음성 스트림을 분리하고, 분리한 각 스트림을 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림으로부터 EPG(Electronic Program Guide) 등의 보조적인 데이터를 추출하고, 추출한 데이터를 제어부(910)에 공급한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림이 스크램블되어 있는 경우에는, 디스크램블을 행해도 된다.
디코더(904)는, 디멀티플렉서(903)로부터 입력되는 영상 스트림 및 음성 스트림을 복호한다. 그리고, 디코더(904)는, 복호 처리에 의해 생성되는 영상 데이터를 영상 신호 처리부(905)로 출력한다. 또한, 디코더(904)는, 복호 처리에 의해 생성되는 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는, 디코더(904)로부터 입력되는 영상 데이터를 재생하고, 표시부(906)에 영상을 표시시킨다. 또한, 영상 신호 처리부(905)는, 네트워크를 통해 공급되는 어플리케이션 화면을 표시부(906)에 표시시켜도 된다. 또한, 영상 신호 처리부(905)는 영상 데이터에 대하여 설정에 따라서, 예를 들어 노이즈 제거 등의 추가적인 처리를 행해도 된다. 또한, 영상 신호 처리부(905)는, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI(Graphical User Interface)의 화상을 생성하고, 생성된 화상을 출력 화상에 중첩해도 된다.
표시부(906)는, 영상 신호 처리부(905)로부터 공급되는 구동 신호에 의해 구동되고, 표시 디바이스(예를 들어, 액정 디스플레이, 플라즈마 디스플레이 또는 OELD(Organic ElectroLuminescence Display)(유기 EL 디스플레이) 등)의 영상면 위에 영상 또는 화상을 표시한다.
음성 신호 처리부(907)는 디코더(904)로부터 입력되는 음성 데이터에 대하여 D/A 변환 및 증폭 등의 재생 처리를 행하고, 스피커(908)로부터 음성을 출력시킨다. 또한, 음성 신호 처리부(907)는, 음성 데이터에 대하여 노이즈 제거 등의 추가적인 처리를 행해도 된다.
외부 인터페이스(909)는, 텔레비전 장치(900)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 예를 들어, 외부 인터페이스(909)를 통해 수신되는 영상 스트림 또는 음성 스트림이, 디코더(904)에 의해 복호되어도 된다. 즉, 외부 인터페이스(909)도 또한, 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에 있어서의 전송부로서의 역할을 갖는다.
제어부(910)는 CPU 등의 프로세서와, RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램, 프로그램 데이터, EPG 데이터, 및 네트워크를 통해 취득되는 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어, 텔레비전 장치(900)의 기동 시에 CPU에 의해 읽어 들여져서 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(911)로부터 입력되는 조작 신호에 따라서, 텔레비전 장치(900)의 동작을 제어한다.
유저 인터페이스(911)는 제어부(910)와 접속된다. 유저 인터페이스(911)는 예를 들어, 유저가 텔레비전 장치(900)를 조작하기 위한 버튼 및 스위치와, 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스(911)는, 이들 구성 요소를 통해 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(910)로 출력한다.
버스(912)는 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스(909) 및 제어부(910)를 서로 접속한다.
이와 같이 구성된 텔레비전 장치(900)에 있어서, 디코더(904)는 전술한 실시 형태에 따른 화상 복호 장치(300: 도 16)의 기능을 갖는다. 따라서, 텔레비전 장치(900)는, 양자화 행렬의 부호량의 증대를 억제할 수 있다.
<8. 제8 실시 형태>
[휴대전화기]
도 36은, 전술한 실시 형태를 적용한 휴대전화기의 개략적인 구성의 일례를 나타내고 있다. 휴대전화기(920)는 안테나(921), 통신부(922), 음성 코덱(923), 스피커(924), 마이크로폰(925), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931), 조작부(932), 및 버스(933)를 구비한다.
안테나(921)는 통신부(922)에 접속된다. 스피커(924) 및 마이크로폰(925)은 음성 코덱(923)에 접속된다. 조작부(932)는 제어부(931)에 접속된다. 버스(933)는 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 및 제어부(931)를 서로 접속한다.
휴대전화기(920)는 음성 통화 모드, 데이터 통신 모드, 촬영 모드 및 텔레비전 전화 모드를 포함하는 다양한 동작 모드이며, 음성 신호의 송수신, 전자 메일 또는 화상 데이터의 송수신, 화상의 촬상, 및 데이터의 기록 등의 동작을 행한다.
음성 통화 모드에 있어서, 마이크로폰(925)에 의해 생성되는 아날로그 음성 신호는, 음성 코덱(923)에 공급된다. 음성 코덱(923)은, 아날로그 음성 신호를 음성 데이터로 변환하고, 변환된 음성 데이터를 A/D 변환하여 압축한다. 그리고, 음성 코덱(923)은, 압축 후의 음성 데이터를 통신부(922)로 출력한다. 통신부(922)는, 음성 데이터를 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는 생성한 송신 신호를, 안테나(921)를 통해 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는 안테나(921)를 통해 수신되는 무선 신호를 증폭 및 주파수 변환하고, 수신 신호를 취득한다. 그리고, 통신부(922)는 수신 신호를 복조 및 복호하여 음성 데이터를 생성하고, 생성한 음성 데이터를 음성 코덱(923)으로 출력한다. 음성 코덱(923)은 음성 데이터를 신장 및 D/A 변환하고, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
또한, 데이터 통신 모드에 있어서, 예를 들어, 제어부(931)는 조작부(932)를 거친 유저에 의한 조작에 따라서, 전자 메일을 구성하는 문자 데이터를 생성한다. 또한, 제어부(931)는 문자를 표시부(930)에 표시시킨다. 또한, 제어부(931)는 조작부(932)를 거친 유저로부터의 송신 지시에 따라서 전자 메일 데이터를 생성하고, 생성한 전자 메일 데이터를 통신부(922)로 출력한다. 통신부(922)는, 전자 메일 데이터를 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 통해 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는, 안테나(921)를 통해 수신되는 무선 신호를 증폭 및 주파수 변환하고, 수신 신호를 취득한다. 그리고, 통신부(922)는 수신 신호를 복조 및 복호하여 전자 메일 데이터를 복원하고, 복원한 전자 메일 데이터를 제어부(931)로 출력한다. 제어부(931)는 표시부(930)에 전자 메일의 내용을 표시시킴과 함께, 전자 메일 데이터를 기록 재생부(929)의 기억 매체에 기억시킨다.
기록 재생부(929)는 판독 기입 가능한 임의의 기억 매체를 갖는다. 예를 들어, 기억 매체는, RAM 또는 플래시 메모리 등의 내장형 기억 매체이어도 되고, 하드디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 외부 장착형 기억 매체이어도 된다.
또한, 촬영 모드에 있어서, 예를 들어, 카메라부(926)는 피사체를 촬상하여 화상 데이터를 생성하고, 생성한 화상 데이터를 화상 처리부(927)로 출력한다. 화상 처리부(927)는 카메라부(926)로부터 입력되는 화상 데이터를 부호화하고, 부호화 스트림을 기록 재생부(929)의 기억 매체에 기억시킨다.
또한, 텔레비전 전화 모드에 있어서, 예를 들어, 다중 분리부(928)는 화상 처리부(927)에 의해 부호화된 영상 스트림과, 음성 코덱(923)으로부터 입력되는 음성 스트림을 다중화하고, 다중화된 스트림을 통신부(922)로 출력한다. 통신부(922)는 스트림을 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는 생성한 송신 신호를, 안테나(921)를 통해 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는 안테나(921)를 통해 수신되는 무선 신호를 증폭 및 주파수 변환하고, 수신 신호를 취득한다. 이들 송신 신호 및 수신 신호에는, 부호화 비트 스트림이 포함될 수 있다. 그리고, 통신부(922)는 수신 신호를 복조 및 복호하여 스트림을 복원하고, 복원한 스트림을 다중 분리부(928)로 출력한다. 다중 분리부(928)는 입력되는 스트림으로부터 영상 스트림 및 음성 스트림을 분리하고, 영상 스트림을 화상 처리부(927), 음성 스트림을 음성 코덱(923)으로 출력한다. 화상 처리부(927)는 영상 스트림을 복호하고, 영상 데이터를 생성한다. 영상 데이터는, 표시부(930)에 공급되고, 표시부(930)에 의해 일련의 화상이 표시된다. 음성 코덱(923)은 음성 스트림을 신장 및 D/A 변환하고, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
이와 같이 구성된 휴대전화기(920)에 있어서, 화상 처리부(927)는 전술한 실시 형태에 따른 화상 부호화 장치(10: 도 1)의 기능, 및 화상 복호 장치(300: 도 16)의 기능을 갖는다. 따라서, 휴대전화기(920)는 양자화 행렬의 부호량의 증대를 억제할 수 있다.
또한, 이상에 있어서는 휴대전화기(920)로서 설명하였지만, 예를 들어, PDA(Personal Digital Assistants), 스마트폰, UMPC(Ultra Mobile Personal Computer), 넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대전화기(920)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떠한 장치이더라도 휴대전화기(920)의 경우와 마찬가지로, 본 기술을 적용한 화상 부호화 장치 및 화상 복호 장치를 적용할 수 있다.
<9. 제9 실시 형태>
[기록 재생 장치]
도 37은, 전술한 실시 형태를 적용한 기록 재생 장치의 개략적인 구성의 일례를 나타내고 있다. 기록 재생 장치(940)는, 예를 들어 수신한 방송 프로그램의 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록한다. 또한, 기록 재생 장치(940)는, 예를 들어 다른 장치로부터 취득되는 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록해도 된다. 또한, 기록 재생 장치(940)는, 예를 들어 유저의 지시에 따라서, 기록 매체에 기록되어 있는 데이터를 모니터 및 스피커 위에서 재생한다. 이때, 기록 재생 장치(940)는 음성 데이터 및 영상 데이터를 복호한다.
기록 재생 장치(940)는 튜너(941), 외부 인터페이스(942), 인코더(943), HDD(944: Hard Disk Drive), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(948: On-Screen Display), 제어부(949), 및 유저 인터페이스(950)를 구비한다.
튜너(941)는, 안테나(도시생략)를 통해 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(941)는 복조에 의해 얻어진 부호화 비트 스트림을 셀렉터(946)로 출력한다. 즉, 튜너(941)는 기록 재생 장치(940)에 있어서의 전송부로서의 역할을 갖는다.
외부 인터페이스(942)는, 기록 재생 장치(940)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 외부 인터페이스(942)는, 예를 들어 IEEE1394 인터페이스, 네트워크 인터페이스, USB 인터페이스, 또는 플래시 메모리 인터페이스 등이어도 된다. 예를 들어, 외부 인터페이스(942)를 통해 수신되는 영상 데이터 및 음성 데이터는, 인코더(943)에 입력된다. 즉, 외부 인터페이스(942)는 기록 재생 장치(940)에 있어서의 전송부로서의 역할을 갖는다.
인코더(943)는, 외부 인터페이스(942)로부터 입력되는 영상 데이터 및 음성 데이터가 부호화되어 있지 않은 경우에, 영상 데이터 및 음성 데이터를 부호화한다. 그리고, 인코더(943)는 부호화 비트 스트림을 셀렉터(946)로 출력한다.
HDD(944)는, 영상 및 음성 등의 콘텐츠 데이터가 압축된 부호화 비트 스트림, 각종 프로그램 및 그 밖의 데이터를 내부의 하드디스크에 기록한다. 또한, HDD(944)는, 영상 및 음성의 재생 시에, 이들 데이터를 하드디스크로부터 판독한다.
디스크 드라이브(945)는 장착되어 있는 기록 매체에의 데이터의 기록 및 판독을 행한다. 디스크 드라이브(945)에 장착되는 기록 매체는, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등) 또는 Blu-ray(등록상표) 디스크 등이어도 된다.
셀렉터(946)는, 영상 및 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터 입력되는 부호화 비트 스트림을 선택하고, 선택한 부호화 비트 스트림을 HDD(944) 또는 디스크 드라이브(945)로 출력한다. 또한, 셀렉터(946)는 영상 및 음성의 재생 시에는, HDD(944) 또는 디스크 드라이브(945)로부터 입력되는 부호화 비트 스트림을 디코더(947)로 출력한다.
디코더(947)는 부호화 비트 스트림을 복호하고, 영상 데이터 및 음성 데이터를 생성한다. 그리고, 디코더(947)는 생성한 영상 데이터를 OSD(948)로 출력한다. 또한, 디코더(947)는 생성한 음성 데이터를 외부의 스피커로 출력한다.
OSD(948)는, 디코더(947)로부터 입력되는 영상 데이터를 재생하고, 영상을 표시한다. 또한, OSD(948)는, 표시하는 영상에, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI의 화상을 중첩해도 된다.
제어부(949)는 CPU 등의 프로세서와, RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램, 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어, 기록 재생 장치(940)의 기동 시에 CPU에 의해 읽어 들여져서 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(950)로부터 입력되는 조작 신호에 따라서, 기록 재생 장치(940)의 동작을 제어한다.
유저 인터페이스(950)는 제어부(949)와 접속된다. 유저 인터페이스(950)는, 예를 들어 유저가 기록 재생 장치(940)를 조작하기 위한 버튼 및 스위치와, 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스(950)는, 이들 구성 요소를 통해 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(949)로 출력한다.
이와 같이 구성된 기록 재생 장치(940)에 있어서, 인코더(943)는 전술한 실시 형태에 따른 화상 부호화 장치(10: 도 1)의 기능을 갖는다. 또한, 디코더(947)는 전술한 실시 형태에 따른 화상 복호 장치(300: 도 16)의 기능을 갖는다. 따라서, 기록 재생 장치(940)는 양자화 행렬의 부호량의 증대를 억제할 수 있다.
<10. 제10 실시 형태>
[촬상 장치]
도 38은, 전술한 실시 형태를 적용한 촬상 장치의 개략적인 구성의 일례를 나타내고 있다. 촬상 장치(960)는, 피사체를 촬상하여 화상을 생성하고, 화상 데이터를 부호화하여 기록 매체에 기록한다.
촬상 장치(960)는 광학 블록(961), 촬상부(962), 신호 처리부(963), 화상 처리부(964), 표시부(965), 외부 인터페이스(966), 메모리(967), 미디어 드라이브(968), OSD(969), 제어부(970), 유저 인터페이스(971) 및 버스(972)를 구비한다.
광학 블록(961)은 촬상부(962)에 접속된다. 촬상부(962)는 신호 처리부(963)에 접속된다. 표시부(965)는 화상 처리부(964)에 접속된다. 유저 인터페이스(971)는 제어부(970)에 접속된다. 버스(972)는 화상 처리부(964), 외부 인터페이스(966), 메모리(967), 미디어 드라이브(968), OSD(969) 및 제어부(970)를 서로 접속한다.
광학 블록(961)은 포커스 렌즈 및 조리개 기구 등을 갖는다. 광학 블록(961)은 피사체의 광학 상(像)을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는 CCD 또는 CMOS 등의 이미지 센서를 갖고, 촬상면에 결상한 광학 상을 광전 변환에 의해 전기 신호로서의 화상 신호로 변환한다. 그리고, 촬상부(962)는 화상 신호를 신호 처리부(963)로 출력한다.
신호 처리부(963)는 촬상부(962)로부터 입력되는 화상 신호에 대하여 니 보정, 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 신호 처리부(963)는 카메라 신호 처리 후의 화상 데이터를 화상 처리부(964)로 출력한다.
화상 처리부(964)는 신호 처리부(963)로부터 입력되는 화상 데이터를 부호화하고, 부호화 데이터를 생성한다. 그리고, 화상 처리부(964)는 생성한 부호화 데이터를 외부 인터페이스(966) 또는 미디어 드라이브(968)로 출력한다. 또한, 화상 처리부(964)는 외부 인터페이스(966) 또는 미디어 드라이브(968)로부터 입력되는 부호화 데이터를 복호하고, 화상 데이터를 생성한다. 그리고, 화상 처리부(964)는 생성한 화상 데이터를 표시부(965)로 출력한다. 또한, 화상 처리부(964)는 신호 처리부(963)로부터 입력되는 화상 데이터를 표시부(965)로 출력하여 화상을 표시시켜도 된다. 또한, 화상 처리부(964)는 OSD(969)로부터 취득되는 표시용 데이터를, 표시부(965)로 출력하는 화상에 중첩해도 된다.
OSD(969)는, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI의 화상을 생성하고, 생성한 화상을 화상 처리부(964)로 출력한다.
외부 인터페이스(966)는, 예를 들어 USB 입출력 단자로서 구성된다. 외부 인터페이스(966)는 예를 들어, 화상의 인쇄 시에, 촬상 장치(960)와 프린터를 접속한다. 또한, 외부 인터페이스(966)에는, 필요에 따라서 드라이브가 접속된다. 드라이브에는, 예를 들어, 자기 디스크 또는 광 디스크 등의 리무버블 미디어가 장착되고, 리무버블 미디어로부터 판독되는 프로그램이, 촬상 장치(960)에 인스톨될 수 있다. 또한, 외부 인터페이스(966)는 LAN 또는 인터넷 등의 네트워크에 접속되는 네트워크 인터페이스로서 구성되어도 된다. 즉, 외부 인터페이스(966)는 촬상 장치(960)에 있어서의 전송부로서의 역할을 갖는다.
미디어 드라이브(968)에 장착되는 기록 매체는, 예를 들어, 자기 디스크, 광자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이어도 된다. 또한, 미디어 드라이브(968)에 기록 매체가 고정적으로 장착되고, 예를 들어, 내장형 하드디스크 드라이브 또는 SSD(Solid State Drive)와 같은 비가반성의 기억부가 구성되어도 된다.
제어부(970)는 CPU 등의 프로세서와, RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램, 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어, 촬상 장치(960)의 기동 시에 CPU에 의해 읽어 들여지고, 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(971)로부터 입력되는 조작 신호에 따라서, 촬상 장치(960)의 동작을 제어한다.
유저 인터페이스(971)는 제어부(970)와 접속된다. 유저 인터페이스(971)는 예를 들어, 유저가 촬상 장치(960)를 조작하기 위한 버튼 및 스위치 등을 갖는다. 유저 인터페이스(971)는, 이들 구성 요소를 통해 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성된 조작 신호를 제어부(970)로 출력한다.
이와 같이 구성된 촬상 장치(960)에 있어서, 화상 처리부(964)는 전술한 실시 형태에 따른 화상 부호화 장치(10: 도 1)의 기능, 및 화상 복호 장치(300: 도 16)의 기능을 갖는다. 따라서, 촬상 장치(960)는 양자화 행렬의 부호량의 증대를 억제할 수 있다.
물론, 본 기술을 적용한 화상 부호화 장치 및 화상 복호 장치는, 전술한 장치 이외의 장치나 시스템에도 적용 가능하다.
<11. 스케일러블 부호화의 응용예>
[제1 시스템]
다음으로, 스케일러블 부호화(계층 부호화)된 스케일러블 부호화 데이터의 구체적인 이용예에 대하여 설명한다. 스케일러블 부호화는, 예를 들어, 도 39에 도시된 예와 같이, 전송하는 데이터의 선택을 위해 이용된다.
도 39에 도시된 데이터 전송 시스템(1000)에 있어서, 배신 서버(1002)는 스케일러블 부호화 데이터 기억부(1001)에 기억되어 있는 스케일러블 부호화 데이터를 판독하고, 네트워크(1003)를 통해, 퍼스널 컴퓨터(1004), AV 기기(1005), 태블릿 디바이스(1006), 및 휴대전화기(1007) 등의 단말 장치로 배신한다.
그 때, 배신 서버(1002)는, 단말 장치의 능력이나 통신 환경 등에 따라서, 적절한 품질의 부호화 데이터를 선택하여 전송한다. 배신 서버(1002)가 불필요하게 고품질의 데이터를 전송해도, 단말 장치에 있어서 고화질의 화상을 얻을 수 있다고는 한정되지 않으며, 지연이나 오버플로우의 발생 요인으로 될 우려가 있다. 또한, 불필요하게 통신 대역을 점유하거나, 단말 장치의 부하를 불필요하게 증대시키거나 해버릴 우려도 있다. 반대로, 배신 서버(1002)가 불필요하게 저품질의 데이터를 전송해도, 단말 장치에 있어서 충분한 화질의 화상을 얻을 수 없을 우려가 있다. 그로 인해, 배신 서버(1002)는, 스케일러블 부호화 데이터 기억부(1001)에 기억되어 있는 스케일러블 부호화 데이터를, 적절히, 단말 장치의 능력이나 통신 환경 등에 대하여 적절한 품질의 부호화 데이터로서 판독하고, 전송한다.
예를 들어, 스케일러블 부호화 데이터 기억부(1001)는, 스케일러블에 부호화된 스케일러블 부호화 데이터(1011: BL+EL)를 기억한다고 하자. 이 스케일러블 부호화 데이터(1011: BL+EL)는, 베이스 레이어와 인핸스먼트 레이어의 양쪽을 포함하는 부호화 데이터이며, 복호함으로써, 베이스 레이어의 화상 및 인핸스먼트 레이어의 화상의 양쪽을 얻을 수 있는 데이터이다.
배신 서버(1002)는, 데이터를 전송하는 단말 장치의 능력이나 통신 환경 등에 따라서, 적절한 레이어를 선택하고, 그 레이어의 데이터를 판독한다. 예를 들어, 배신 서버(1002)는 처리 능력이 높은 퍼스널 컴퓨터(1004)나 태블릿 디바이스(1006)에 대해서는, 고품질의 스케일러블 부호화 데이터(1011: BL+EL)를 스케일러블 부호화 데이터 기억부(1001)로부터 판독하고, 그대로 전송한다. 이에 반하여, 예를 들어, 배신 서버(1002)는 처리 능력이 낮은 AV 기기(1005)나 휴대전화기(1007)에 대해서는, 스케일러블 부호화 데이터(1011: BL+EL)로부터 베이스 레이어의 데이터를 추출하고, 스케일러블 부호화 데이터(1011: BL+EL)와 동일한 콘텐츠의 데이터이지만, 스케일러블 부호화 데이터(1011: BL+EL)보다도 저품질의 스케일러블 부호화 데이터(1012: BL)로서 전송한다.
이와 같이 스케일러블 부호화 데이터를 이용함으로써, 데이터량을 용이하게 조정할 수 있으므로, 지연이나 오버플로우의 발생을 억제하거나, 단말 장치나 통신 매체의 부하의 불필요한 증대를 억제하거나 할 수 있다. 또한, 스케일러블 부호화 데이터(1011: BL+EL)는, 레이어 간의 용장성이 저감되어 있으므로, 각 레이어의 부호화 데이터를 개별 데이터로 한 경우보다도 그 데이터량을 저감시킬 수 있다. 따라서, 스케일러블 부호화 데이터 기억부(1001)의 기억 영역을 보다 효율적으로 사용할 수 있다.
또한, 퍼스널 컴퓨터(1004) 내지 휴대전화기(1007)와 같이, 단말 장치에는 다양한 장치를 적용할 수 있으므로, 단말 장치의 하드웨어 성능은, 장치에 따라 서로 다르다. 또한, 단말 장치가 실행하는 어플리케이션도 다양하므로, 그 소프트웨어의 능력도 다양하다. 또한, 통신 매체로 되는 네트워크(1003)도, 예를 들어 인터넷이나 LAN(Local Area Network) 등, 유선 혹은 무선, 또는 그 양쪽을 포함하는 모든 통신 회선망을 적용할 수 있어, 그 데이터 전송 능력은 다양하다. 또한, 다른 통신 등에 의해서도 변화될 우려가 있다.
따라서, 배신 서버(1002)는 데이터 전송을 개시하기 전에, 데이터의 전송처로 되는 단말기 장치와 통신을 행하고, 단말 장치의 하드웨어 성능이나, 단말 장치가 실행하는 어플리케이션(소프트웨어)의 성능 등과 같은 단말 장치의 능력에 관한 정보와, 네트워크(1003)의 이용 가능 대역폭 등의 통신 환경에 관한 정보를 얻도록 해도 된다. 그리고, 배신 서버(1002)가 여기에서 얻은 정보를 기초로, 적절한 레이어를 선택하도록 해도 된다.
또한, 레이어의 추출은, 단말 장치에 있어서 행하도록 해도 된다. 예를 들어, 퍼스널 컴퓨터(1004)가 전송된 스케일러블 부호화 데이터(1011: BL+EL)를 복호하고, 베이스 레이어의 화상을 표시해도 되며, 인핸스먼트 레이어의 화상을 표시해도 된다. 또한, 예를 들어, 퍼스널 컴퓨터(1004)가 전송된 스케일러블 부호화 데이터(1011: BL+EL)로부터, 베이스 레이어의 스케일러블 부호화 데이터(1012: BL)를 추출하고, 기억하거나, 다른 장치로 전송하거나, 복호하여 베이스 레이어의 화상을 표시하거나 하도록 해도 된다.
물론, 스케일러블 부호화 데이터 기억부(1001), 배신 서버(1002), 네트워크(1003), 및 단말 장치의 수는 어느 것이나 임의이다. 또한, 이상에 있어서는, 배신 서버(1002)가 데이터를 단말 장치로 전송하는 예에 대하여 설명하였지만, 이용예는 이에 한정되지 않는다. 데이터 전송 시스템(1000)은, 스케일러블 부호화된 부호화 데이터를 단말 장치로 전송할 때, 단말 장치의 능력이나 통신 환경 등에 따라서, 적절한 레이어를 선택하여 전송하는 시스템이면, 임의의 시스템에 적용할 수 있다.
그리고, 이상의 도 39와 같은 데이터 전송 시스템(1000)에 있어서도, 도 31 내지 도 33을 참조하여 전술한 계층 부호화·계층 복호에의 적용과 마찬가지로 본 기술을 적용함으로써, 도 31 내지 도 33을 참조하여 전술한 효과와 마찬가지의 효과를 얻을 수 있다.
[제2 시스템]
또한, 스케일러블 부호화는, 예를 들어, 도 40에 도시된 예와 같이, 복수의 통신 매체를 통해 전송을 위해 이용된다.
도 40에 도시된 데이터 전송 시스템(1100)에 있어서, 방송국(1101)은 지상파 방송(1111)에 의해, 베이스 레이어의 스케일러블 부호화 데이터(1121: BL)를 전송한다. 또한, 방송국(1101)은, 유선 혹은 무선 또는 그 양쪽의 통신망으로 이루어지는 임의의 네트워크(1112)를 통해, 인핸스먼트 레이어의 스케일러블 부호화 데이터(1122: EL)를 전송한다(예를 들어 패킷화하여 전송함).
단말 장치(1102)는, 방송국(1101)이 방송하는 지상파 방송(1111)의 수신 기능을 갖고, 이 지상파 방송(1111)을 통해 전송되는 베이스 레이어의 스케일러블 부호화 데이터(1121: BL)를 수취한다. 또한, 단말 장치(1102)는, 네트워크(1112)를 통한 통신을 행하는 통신 기능을 더 갖고, 이 네트워크(1112)를 통해 전송되는 인핸스먼트 레이어의 스케일러블 부호화 데이터(1122: EL)를 수취한다.
단말 장치(1102)는, 예를 들어 유저 지시 등에 따라서, 지상파 방송(1111)을 통해 취득한 베이스 레이어의 스케일러블 부호화 데이터(1121: BL)를, 복호하여 베이스 레이어의 화상을 얻거나, 기억하거나, 다른 장치로 전송하거나 한다.
또한, 단말 장치(1102)는 예를 들어 유저 지시 등에 따라서, 지상파 방송(1111)을 통해 취득한 베이스 레이어의 스케일러블 부호화 데이터(1121: BL)와, 네트워크(1112)를 통해 취득한 인핸스먼트 레이어의 스케일러블 부호화 데이터(1122: EL)를 합성하여, 스케일러블 부호화 데이터(BL+EL)를 얻거나, 그것을 복호하여 인핸스먼트 레이어의 화상을 얻거나, 기억하거나, 다른 장치로 전송하거나 한다.
이상과 같이, 스케일러블 부호화 데이터는, 예를 들어 레이어마다 서로 다른 통신 매체를 통해 전송시킬 수 있다. 따라서, 부하를 분산시킬 수 있어, 지연이나 오버플로우의 발생을 억제할 수 있다.
또한, 상황에 따라서, 전송에 사용하는 통신 매체를, 레이어마다 선택할 수 있도록 해도 된다. 예를 들어, 데이터량이 비교적 많은 베이스 레이어의 스케일러블 부호화 데이터(1121: BL)를 대역폭이 넓은 통신 매체를 통해 전송시키고, 데이터량이 비교적 적은 인핸스먼트 레이어의 스케일러블 부호화 데이터(1122: EL)를 대역폭이 좁은 통신 매체를 통해 전송시키도록 해도 된다. 또한, 예를 들어, 인핸스먼트 레이어의 스케일러블 부호화 데이터(1122: EL)를 전송하는 통신 매체를, 네트워크(1112)로 할지, 지상파 방송(1111)으로 할지를, 네트워크(1112)의 이용 가능 대역폭에 따라서 전환하도록 해도 된다. 물론, 임의의 레이어의 데이터에 대하여 마찬가지이다.
이와 같이 제어함으로써, 데이터 전송에 있어서의 부하의 증대를, 보다 억제할 수 있다.
물론, 레이어 수는 임의이며, 전송에 이용하는 통신 매체의 수도 임의이다. 또한, 데이터 배신처로 되는 단말 장치(1102)의 수도 임의이다. 또한, 이상에 있어서는, 방송국(1101)으로부터의 방송을 예로 설명하였지만, 이용예는 이에 한정되지 않는다. 데이터 전송 시스템(1100)은 스케일러블 부호화된 부호화 데이터를, 레이어를 단위로 하여 복수로 분할하고, 복수의 회선을 통해 전송하는 시스템이면, 임의의 시스템에 적용할 수 있다.
그리고, 이상과 같은 도 40의 데이터 전송 시스템(1100)에 있어서도, 도 31 내지 도 33을 참조하여 전술한 계층 부호화·계층 복호에의 적용과 마찬가지로 본 기술을 적용함으로써, 도 31 내지 도 33을 참조하여 전술한 효과와 마찬가지의 효과를 얻을 수 있다.
[제3 시스템]
또한, 스케일러블 부호화는, 예를 들어, 도 41에 도시된 예와 같이, 부호화 데이터의 기억에 이용된다.
도 41에 도시된 촬상 시스템(1200)에 있어서, 촬상 장치(1201)는 피사체(1211)를 촬상하여 얻어진 화상 데이터를 스케일러블 부호화하고, 스케일러블 부호화 데이터(1221: BL+EL)로서, 스케일러블 부호화 데이터 기억 장치(1202)에 공급한다.
스케일러블 부호화 데이터 기억 장치(1202)는, 촬상 장치(1201)로부터 공급되는 스케일러블 부호화 데이터(1221: BL+EL)를, 상황에 따른 품질로 기억한다. 예를 들어, 통상시의 경우, 스케일러블 부호화 데이터 기억 장치(1202)는 스케일러블 부호화 데이터(1221: BL+EL)로부터 베이스 레이어의 데이터를 추출하고, 저품질로 데이터량이 적은 베이스 레이어의 스케일러블 부호화 데이터(1222: BL)로서 기억한다. 이에 반하여, 예를 들어, 주목시의 경우, 스케일러블 부호화 데이터 기억 장치(1202)는, 고품질로 데이터량이 많은 스케일러블 부호화 데이터(1221: BL+EL)인 채로 기억한다.
이와 같이 함으로써, 스케일러블 부호화 데이터 기억 장치(1202)는 필요한 경우에만, 화상을 고화질로 보존할 수 있으므로, 화질 열화에 따른 화상의 가치 저감을 억제하면서, 데이터량의 증대를 억제할 수 있어, 기억 영역의 이용 효율을 향상시킬 수 있다.
예를 들어, 촬상 장치(1201)가 감시 카메라인 것으로 한다. 촬상 화상에 감시 대상(예를 들어 침입자)이 비쳐 지지 않는 경우(통상시의 경우), 촬상 화상의 내용은 중요하지 않을 가능성이 높으므로, 데이터량의 저감이 우선되고, 그 화상 데이터(스케일러블 부호화 데이터)는 저품질로 기억된다. 이에 반하여, 촬상 화상에 감시 대상이 피사체(1211)로서 비쳐져 있는 경우(주목시의 경우), 그 촬상 화상의 내용은 중요할 가능성이 높으므로, 화질이 우선되고, 그 화상 데이터(스케일러블 부호화 데이터)는 고품질로 기억된다.
또한, 통상시인지 주목시인지는, 예를 들어, 스케일러블 부호화 데이터 기억 장치(1202)가 화상을 해석함으로써 판정해도 된다. 또한, 촬상 장치(1201)가 판정하고, 그 판정 결과를 스케일러블 부호화 데이터 기억 장치(1202)로 전송하도록 해도 된다.
또한, 통상시인지 주목시인지의 판정 기준은 임의이며, 판정 기준으로 하는 화상의 내용은 임의이다. 물론, 화상의 내용 이외의 조건을 판정 기준으로 할 수도 있다. 예를 들어, 수록한 음성의 크기나 파형 등에 따라서 전환하도록 해도 되고, 소정의 시간마다 전환하도록 해도 되며, 유저 지시 등의 외부로부터의 지시에 따라 전환하도록 해도 된다.
또한, 이상에 있어서는, 통상시와 주목시의 2가지 상태를 전환하는 예로 설명하였지만, 상태의 수는 임의이며, 예를 들어, 통상시, 약간 주목시, 주목시, 매우 주목시 등과 같이, 3개 이상의 상태를 전환하도록 해도 된다. 단, 이 전환하는 상태의 상한 수는, 스케일러블 부호화 데이터의 레이어 수에 의존한다.
또한, 촬상 장치(1201)가, 스케일러블 부호화의 레이어 수를, 상태에 따라서 결정하도록 해도 된다. 예를 들어, 통상시의 경우, 촬상 장치(1201)가 저품질로 데이터량이 적은 베이스 레이어의 스케일러블 부호화 데이터(1222: BL)를 생성하고, 스케일러블 부호화 데이터 기억 장치(1202)에 공급하도록 해도 된다. 또한, 예를 들어, 주목시의 경우, 촬상 장치(1201)가 고품질로 데이터량이 많은 베이스 레이어의 스케일러블 부호화 데이터(1221: BL+EL)를 생성하고, 스케일러블 부호화 데이터 기억 장치(1202)에 공급하도록 해도 된다.
이상에 있어서는, 감시 카메라를 예로 설명하였지만, 이 촬상 시스템(1200)의 용도는 임의이며, 감시 카메라에 한정되지 않는다.
그리고, 이상과 같은 도 41의 촬상 시스템(1200)에 있어서도, 도 31 내지 도 33을 참조하여 전술한 계층 부호화·계층 복호에의 적용과 마찬가지로 본 기술을 적용함으로써, 도 31 내지 도 33을 참조하여 전술한 효과와 마찬가지의 효과를 얻을 수 있다.
또한, 본 기술은, 미리 준비된 해상도 등이 서로 다른 복수의 부호화 데이터 중에서 적절한 것을 세그먼트 단위로 선택하여 사용하는, 예를 들어 MPEG DASH 등과 같은 HTTP 스트리밍에도 적용할 수 있다. 즉, 이러한 복수의 부호화 데이터 사이에서, 부호화나 복호에 관한 정보를 공유할 수도 있다.
또한, 본 명세서에서는, 양자화 행렬 및 양자화 행렬에 관련된 파라미터가, 부호화측으로부터 복호측으로 전송되는 예에 대하여 설명하였다. 양자화 행렬 및 양자화 행렬에 관련된 파라미터를 전송하는 방법은, 부호화 비트 스트림에 다중화되지 않고, 부호화 비트 스트림과 관련지어진 별개의 데이터로서 전송되거나 또는 기록되어도 된다. 여기서, 「관련짓다」라는 용어는, 비트 스트림에 포함되는 화상(슬라이스 또는 블록 등, 화상의 일부이어도 됨)과 그 화상에 대응하는 정보를 복호 시에 링크시킬 수 있도록 함을 의미한다. 즉, 정보는, 화상(또는 비트 스트림)과는 별도의 전송로 위에서 전송되어도 된다. 또한, 정보는, 화상(또는 비트 스트림)과는 별도의 기록 매체(또는 동일한 기록 매체의 별도의 기록 에리어)에 기록되어도 된다. 또한, 정보와 화상(또는 비트 스트림)은, 예를 들어, 복수 프레임, 1 프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어져도 된다.
이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대하여 상세히 설명하였지만, 본 발명의 기술적 범위는 이러한 예에 한정되지 않는다. 본 발명의 기술 분야에 있어서의 통상의 지식을 갖는 자이면, 특허청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 자명하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
[1] 화상을 부호화 처리한 부호화 데이터와, 전송 시에 허용되는 최대 사이즈인 전송 사이즈 이하로 제한된 양자화 행렬을 수취하는 수취부와,
상기 수취부에 의해 수취된 부호화 데이터를 복호 처리하여 양자화 데이터를 생성하는 복호부와,
상기 수취부에 의해 수취된 양자화 행렬을, 상기 전송 사이즈로부터 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트하는 업컨버트부와,
상기 업컨버트부에 의해 업컨버트된 양자화 행렬을 이용하여, 상기 복호부에 의해 생성된 양자화 데이터를 역양자화하는 역양자화부
를 구비하는, 화상 처리 장치.
[2] 상기 수취부에 의해 수취된 양자화 행렬은, 상기 전송 사이즈로서 디폴트 양자화 행렬 사이즈와 동일한 사이즈인 [1]과, [3] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[3] 상기 수취부에 의해 수취된 양자화 행렬은, 상기 전송 사이즈로서 디폴트 양자화 행렬의 최대 사이즈와 동일한 사이즈인 [1], [2]와, [4] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[4] 상기 전송 사이즈는 8×8이며,
상기 수취부에 의해 수취된 양자화 행렬은 8×8 사이즈인 [1] 내지 [3]과, [5] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[5] 상기 업컨버트부는, 상기 수취부에 의해 수취된 양자화 행렬의 행렬 요소에 대하여 보간 처리를 행함으로써, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 업컨버트하는 [1] 내지 [4]와, [6] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[6] 상기 업컨버트부는, 상기 수취부에 의해 수취된 양자화 행렬의 행렬 요소에 대하여 최근방 보간 처리를 행함으로써, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 업컨버트하는 [1] 내지 [5]와, [7] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[7] 상기 전송 사이즈는 8×8이며,
상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 최근방 보간 처리를 행함으로써, 16×16 사이즈의 양자화 행렬로 업컨버트하는 [1] 내지 [6]과, [8] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[8] 상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 최근방 보간 처리를 행함으로써, 32×32 사이즈의 양자화 행렬로 업컨버트하는 [1] 내지 [7]과, [9] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[9] 상기 업컨버트부는, 상기 전송 사이즈 이하로 제한된 정방의 양자화 행렬의 행렬 요소에 대하여 보간 처리를 행함으로써, 비정방의 양자화 행렬로 업컨버트하는 [1] 내지 [8]과, [10] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[10] 상기 전송 사이즈는 8×8이며,
상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 보간 처리를 행함으로써, 8×32 사이즈의 양자화 행렬 또는 32×8 사이즈의 양자화 행렬로 업컨버트하는 [1] 내지 [9]와, [11] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[11] 상기 전송 사이즈는 8×8이며,
상기 업컨버트부는, 4×4 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 보간 처리를 행함으로써, 4×16 사이즈의 양자화 행렬 또는 16×4 사이즈의 양자화 행렬로 업컨버트하는 [1] 내지 [10]과, [12] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[12] 상기 전송 사이즈는 8×8이며,
상기 업컨버트부는, 8×8 사이즈의 양자화 행렬의 행렬 요소에 대하여 상기 보간 처리를 행함으로써, 2×32 사이즈의 양자화 행렬, 32×2 사이즈의 양자화 행렬, 1×16 사이즈의 양자화 행렬, 또는 16×1 사이즈의 양자화 행렬로 업컨버트하는 [1] 내지 [11]과, [13] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[13] 복호 처리할 때의 처리 단위인 코딩 유닛과 변환 처리를 할 때의 처리 단위인 트랜스폼 유닛이 계층 구조를 갖고,
상기 복호부는, 상기 부호화 데이터를, 계층 구조를 갖는 단위로 복호 처리하고,
상기 업컨버트부는, 상기 수취부에 의해 수취된 양자화 행렬을, 상기 전송 사이즈로부터 역양자화를 행하는 처리 단위인 트랜스폼 유닛의 사이즈로 업컨버트하는 [1] 내지 [12]와, [14] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[14] 상기 양자화 행렬은, 역양자화할 때의 처리 단위인 블록 사이즈에 따라서 행렬 요소가 서로 다른 양자화 행렬로서 설정되어 있으며,
상기 수취부는, 역양자화할 때의 처리 단위인 블록 사이즈에 따라서 행렬 요소가 다른 양자화 행렬을 수취하고,
상기 업컨버트부는, 역양자화할 때의 처리 단위인 블록 사이즈에 따라서 행렬 요소가 서로 다른 양자화 행렬을 이용하여, 상기 수취부에 의해 수취된 양자화 행렬을 업컨버트하는 [1] 내지 [13]과, [15] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[15] 상기 전송 사이즈는 8×8이며,
상기 업컨버트부는, 역양자화할 때의 처리 단위인 블록 사이즈가 16×16인 경우에, 제1 양자화 행렬을 업컨버트하고, 역양자화할 때의 처리 단위인 블록 사이즈가 32×32인 경우에, 상기 제1 양자화 행렬과 행렬 요소가 서로 다른 제2 양자화 행렬을 업컨버트하는 [1] 내지 [14]와, [16] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[16] 상기 수취부는, 업컨버트하는 사이즈에 따라서 서로 다른 양자화 행렬을 수취하고,
상기 업컨버트부는, 업컨버트하는 사이즈에 따른 양자화 행렬을 이용하여 업컨버트하는 [1] 내지 [15]와, [17] 내지 [19] 중 어느 하나에 기재된, 화상 처리 장치.
[17] 상기 수취부는, 제1 사이즈로 업컨버트할 때 이용하는 제1 양자화 행렬과 제1 사이즈보다 큰 제2 사이즈로 업컨버트할 때 이용하는 제2 양자화 행렬을 수취하고,
상기 업컨버트부는, 변환 단위가 제1 사이즈인 경우, 상기 수취부에 의해 수취된 상기 제1 양자화 행렬을 업컨버트하는 [1] 내지 [16], [18]과, [19] 중 어느 하나에 기재된, 화상 처리 장치.
[18] 상기 업컨버트부는, 변환 단위가 제2 사이즈인 경우, 상기 수취부에 의해 수취된 상기 제2 양자화 행렬을 업컨버트하는 [17]에 기재된, 화상 처리 장치.
[19] 상기 제1 사이즈는 16×16이며,
상기 제2 사이즈는 32×32인 [17] 또는 [18]에 기재된, 화상 처리 장치.
[20] 화상 처리 장치의 화상 처리 방법으로서,
상기 화상 처리 장치가,
화상을 부호화 처리한 부호화 데이터와, 전송 시에 허용되는 최대 사이즈인 전송 사이즈 이하로 제한된 양자화 행렬을 수취하고,
수취된 부호화 데이터를 복호 처리하여 양자화 데이터를 생성하고,
수취된 양자화 행렬을, 상기 전송 사이즈로부터 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로, 업컨버트하고,
업컨버트된 양자화 행렬을 이용하여, 생성된 양자화 데이터를 역양자화하는, 화상 처리 방법.
[21] 전송 시에 허용되는 최대 사이즈인 전송 사이즈로부터, 화상을 양자화한 양자화 데이터를 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트할 때 이용하는 양자화 행렬을 설정하는 설정부와,
상기 설정부에 의해 설정된 양자화 행렬을 이용하여, 상기 화상을 양자화하여 양자화 데이터를 생성하는 양자화부와,
상기 양자화부에 의해 생성된 양자화 데이터를 부호화 처리하여, 부호화 데이터를 생성하는 부호화부와,
상기 부호화부에 의해 생성된 부호화 데이터와, 상기 설정부에 의해 설정된, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 전송하는 전송부
를 구비하는, 화상 처리 장치.
[22] 상기 전송 사이즈는 8×8이며,
상기 설정부에 의해 설정되는 양자화 행렬은 8×8인 [21]과, [23] 내지 [25] 중 어느 하나에 기재된, 화상 처리 장치.
[23] 상기 양자화 행렬은 8×8 사이즈로부터 16×16 사이즈 또는 32×32 사이즈로 업컨버트할 때 이용하는 양자화 행렬인 [21], [22], [24], 및 [25] 중 어느 하나에 기재된, 화상 처리 장치.
[24] 상기 양자화 행렬은, 32×32 사이즈로 업컨버트할 때 이용하는 양자화 행렬인 [21] 내지 [23]과, [25] 중 어느 하나에 기재된, 화상 처리 장치.
[25] 부호화 처리할 때의 처리 단위인 코딩 유닛과 변환 처리를 할 때의 처리 단위인 트랜스폼 유닛이 계층 구조를 갖고,
상기 부호화부는, 상기 양자화 데이터를, 계층 구조를 갖는 단위로 부호화 처리하는 [21] 내지 [24] 중 어느 하나에 기재된, 화상 처리 장치.
[26] 화상 처리 장치의 화상 처리 방법으로서,
상기 화상 처리 장치가,
전송 시에 허용되는 최대 사이즈인 전송 사이즈로부터, 화상을 양자화한 양자화 데이터를 역양자화할 때의 처리 단위인 블록 사이즈와 동일한 사이즈로 업컨버트할 때 이용하는 양자화 행렬을 설정하고,
설정된 양자화 행렬을 이용하여, 상기 화상을 양자화하여 양자화 데이터를 생성하고,
생성된 양자화 데이터를 부호화 처리하여, 부호화 데이터를 생성하고,
생성된 부호화 데이터와, 설정된, 상기 전송 사이즈 이하로 제한된 양자화 행렬을 전송하는, 화상 처리 방법.
10: 화상 부호화 장치
14: 직교 변환·양자화부
16: 가역 부호화부
150: 행렬 처리부
152: 예측부
154: 차분 연산부
161: 예측부
162: 차분 행렬 생성부
163: 차분 행렬 사이즈 변환부
164: 엔트로피 부호화부
165: 복호부
166: 출력부
171: 카피부
172: 예측 행렬 생성부
181: 예측 행렬 사이즈 변환부
182: 연산부
183: 양자화부
191: 중복 판정부
192: DPCM부
193: expG부
201: 양자화 행렬 복원부
202: 기억부
300: 화상 복호 장치
313: 역양자화·역직교 변환부
410: 행렬 생성부
531: 파라미터 해석부
532: 예측부
533: 엔트로피 복호부
534: 양자화 행렬 복원부
535: 출력부
536: 기억부
541: 카피부
542: 예측 행렬 생성부
551: expG부
552: 역 DPCM부
553: 역중복 판정부
561: 예측 행렬 사이즈 변환부
562: 차분 행렬 사이즈 변환부
563: 역양자화부
564: 연산부
701: 양자화 행렬 사이즈 변환부
721: 양자화 행렬 사이즈 변환부

Claims (20)

  1. 화상 처리 장치로서,
    16×16 양자화 행렬의 요소가 씨닝된 8×8 양자화 행렬을 포함하는 비트 스트림을 복호하여 양자화 데이터를 생성하도록 구성된 복호부;
    상기 복호부에 의해 생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 16×16 변환 단위로 역직교 변환하는 경우에, 상기 8×8 양자화 행렬의 각 요소를 이용하여, 상기 8×8 양자화 행렬의 요소의 우측에 인접하는 요소, 하측에 인접하는 요소 및 우측 하단에 인접하는 요소인 근방의 3 요소를 복제하는 최근방 보간 처리를 행함으로써, 상기 16×16 양자화 행렬을 설정하도록 구성된 설정부; 및
    상기 설정부에 의해 설정된 상기 16×16 양자화 행렬을 이용하여, 상기 복호부에 의해 생성된 양자화 데이터를 역양자화하도록 구성된 역양자화부
    를 포함하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 비트 스트림은, 32×32 양자화 행렬의 요소가 씨닝된 8×8 양자화 행렬을 포함하고,
    상기 설정부는, 상기 복호부에 의해 생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 32×32 변환 단위로 역직교 변환하는 경우에, 상기 8×8 양자화 행렬의 각 요소를 이용하여 근방의 15 요소를 복제하는 최근방 보간 처리를 행함으로써, 상기 32×32 양자화 행렬을 설정하고,
    상기 역양자화부는, 상기 설정부에 의해 설정된 상기 32×32 양자화 행렬을 이용하여, 상기 복호부에 의해 생성된 양자화 데이터를 역양자화하는, 화상 처리 장치.
  3. 제2항에 있어서,
    상기 32×32 양자화 행렬의 요소가 씨닝된 상기 8×8 양자화 행렬은, 상기 비트 스트림의 픽처 파라미터 세트에 포함되는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 16×16 양자화 행렬의 요소가 씨닝된 상기 8×8 양자화 행렬은, 상기 비트 스트림의 픽처 파라미터 세트에 포함되는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 복호부에 의해 생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 16×16 변환 단위로 역직교 변환하는 역직교 변환부
    를 더 포함하는, 화상 처리 장치.
  6. 화상 처리 방법으로서,
    16×16 양자화 행렬의 요소가 씨닝된 8×8 양자화 행렬을 포함하는 비트 스트림을 복호하여 양자화 데이터를 생성하고,
    생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 16×16 변환 단위로 역직교 변환하는 경우에, 상기 8×8 양자화 행렬의 각 요소를 이용하여, 상기 8×8 양자화 행렬의 요소의 우측에 인접하는 요소, 하측에 인접하는 요소 및 우측 하단에 인접하는 요소인 근방의 3 요소를 복제하는 최근방 보간 처리를 행함으로써, 상기 16×16 양자화 행렬을 설정하고,
    설정된 상기 16×16 양자화 행렬을 이용하여, 생성된 양자화 데이터를 역양자화하는, 화상 처리 방법.
  7. 제6항에 있어서,
    상기 비트 스트림은, 32×32 양자화 행렬의 요소가 씨닝된 8×8 양자화 행렬을 포함하고,
    생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 32×32 변환 단위로 역직교 변환하는 경우에, 상기 8×8 양자화 행렬의 각 요소를 이용하여 근방의 15 요소를 복제하는 최근방 보간 처리를 행함으로써, 상기 32×32 양자화 행렬을 설정하고,
    설정된 상기 32×32 양자화 행렬을 이용하여, 생성된 양자화 데이터를 역양자화하는, 화상 처리 방법.
  8. 제7항에 있어서,
    상기 32×32 양자화 행렬의 요소가 씨닝된 상기 8×8 양자화 행렬은, 상기 비트 스트림의 픽처 파라미터 세트에 포함되는, 화상 처리 방법.
  9. 제6항에 있어서,
    상기 16×16 양자화 행렬의 요소가 씨닝된 상기 8×8 양자화 행렬은, 상기 비트 스트림의 픽처 파라미터 세트에 포함되는, 화상 처리 방법.
  10. 제6항에 있어서,
    생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 16×16 변환 단위로 역직교 변환하는, 화상 처리 방법.
  11. 컴퓨터를,
    16×16 양자화 행렬의 요소가 씨닝된 8×8 양자화 행렬을 포함하는 비트 스트림을 복호하여 양자화 데이터를 생성하도록 구성된 복호부;
    상기 복호부에 의해 생성된 양자화 데이터를 역양자화한 변환 계수 데이터를 16×16 변환 단위로 역직교 변환하는 경우에, 상기 8×8 양자화 행렬의 각 요소를 이용하여, 상기 8×8 양자화 행렬의 요소의 우측에 인접하는 요소, 하측에 인접하는 요소 및 우측 하단에 인접하는 요소인 근방의 3 요소를 복제하는 최근방 보간 처리를 행함으로써, 상기 16×16 양자화 행렬을 설정하도록 구성된 설정부; 및
    상기 설정부에 의해 설정된 상기 16×16 양자화 행렬을 이용하여, 상기 복호부에 의해 생성된 양자화 데이터를 역양자화하도록 구성된 역양자화부로서 기능시키는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020147015511A 2011-12-19 2012-11-30 화상 처리 장치 및 방법 KR102094557B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2011277745 2011-12-19
JPJP-P-2011-277745 2011-12-19
JPJP-P-2012-008462 2012-01-18
JP2012008462 2012-01-18
JP2012039216 2012-02-24
JPJP-P-2012-039216 2012-02-24
PCT/JP2012/081057 WO2013094385A1 (ja) 2011-12-19 2012-11-30 画像処理装置および方法

Related Child Applications (5)

Application Number Title Priority Date Filing Date
KR1020207005154A Division KR20200023497A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005163A Division KR20200023501A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005156A Division KR20200023499A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005155A Division KR20200023498A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005158A Division KR20200023500A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140109875A KR20140109875A (ko) 2014-09-16
KR102094557B1 true KR102094557B1 (ko) 2020-03-27

Family

ID=48668284

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020207005156A KR20200023499A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005163A KR20200023501A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005154A KR20200023497A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020147015511A KR102094557B1 (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005155A KR20200023498A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005158A KR20200023500A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020207005156A KR20200023499A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005163A KR20200023501A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005154A KR20200023497A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020207005155A KR20200023498A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법
KR1020207005158A KR20200023500A (ko) 2011-12-19 2012-11-30 화상 처리 장치 및 방법

Country Status (15)

Country Link
US (7) US9635354B2 (ko)
EP (1) EP2797322A4 (ko)
JP (6) JP5904212B2 (ko)
KR (6) KR20200023499A (ko)
CN (6) CN108924566B (ko)
AR (1) AR089223A1 (ko)
AU (3) AU2012355057B2 (ko)
CA (1) CA2856348C (ko)
HK (1) HK1258600A1 (ko)
MX (3) MX346765B (ko)
MY (2) MY174497A (ko)
PH (2) PH12014501332A1 (ko)
SG (2) SG10201407305TA (ko)
TW (5) TWI577175B (ko)
WO (1) WO2013094385A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
MY174497A (en) * 2011-12-19 2020-04-23 Sony Corp Image processing device and method
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9967559B1 (en) * 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US20210281846A1 (en) * 2016-09-13 2021-09-09 Mediatek Inc. Method of multiple quantization matrix sets for video coding
KR102459734B1 (ko) * 2017-08-30 2022-10-28 삼성전자 주식회사 영상처리장치 및 그 제어방법
KR20200092315A (ko) * 2017-11-24 2020-08-03 소니 주식회사 화상 처리 장치 및 방법
JP7086176B2 (ja) * 2018-03-30 2022-06-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10659781B2 (en) * 2018-04-02 2020-05-19 Tencent America LLC Concatenated coding units in flexible tree structure
JP2020098984A (ja) 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP2020098983A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
WO2020179715A1 (ja) * 2019-03-01 2020-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP2020150340A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
JP2020150338A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
CN113728640A (zh) * 2019-04-23 2021-11-30 北京字节跳动网络技术有限公司 帧内预测和残差编解码
KR20200133185A (ko) * 2019-05-15 2020-11-26 현대자동차주식회사 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
WO2020231228A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
TWI813988B (zh) * 2021-05-05 2023-09-01 宏正自動科技股份有限公司 影像傳輸方法以及影像傳輸系統

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100234194B1 (ko) * 1997-03-26 1999-12-15 윤종용 이전계층 양자화표를 이용한 다중계층 부호화기의 부호화방법
JP4099682B2 (ja) * 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US6529634B1 (en) 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
BRPI0406507B1 (pt) 2003-02-21 2018-10-16 Matsushita Electric Ind Co Ltd método de codificação de imagem e método de decodificação de imagem
EP1665133A4 (en) * 2004-01-20 2009-05-13 Panasonic Corp IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, AND CORRESPONDING PROGRAM
CN100542262C (zh) * 2004-01-30 2009-09-16 松下电器产业株式会社 逆量化方法图像解码方法和设备及处理器
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
JP4114885B2 (ja) * 2005-10-31 2008-07-09 松下電器産業株式会社 画像符号化装置、方法、及びプログラム
WO2007094100A1 (ja) * 2006-02-13 2007-08-23 Kabushiki Kaisha Toshiba 動画像符号化／復号化方法及び装置並びにプログラム
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
CN100409693C (zh) * 2006-07-13 2008-08-06 王国秋 用于图像和视频压缩的正交变换方法
CN101123723B (zh) * 2006-08-11 2011-01-12 北京大学 基于图形处理器的数字视频解码方法
JP5257215B2 (ja) * 2009-04-16 2013-08-07 ソニー株式会社 画像符号化装置と画像符号化方法
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
RU2011120192A (ru) * 2009-09-22 2013-10-27 Панасоник Корпорэйшн Устройство кодирования изображения, устройство декодирования изображения, способ кодирования изображения и способ декодирования изображения
CN101674478B (zh) * 2009-10-19 2012-09-19 浙江大学 基于压缩域的视频超分辨率方法
TW201143448A (en) * 2009-10-30 2011-12-01 Panasonic Corp Image encoding method, image decoding method, image encoding device and image decoding device
KR101751559B1 (ko) * 2009-10-30 2017-06-27 선 페이턴트 트러스트 복호방법, 복호장치, 부호화 방법 및 부호화 장치
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
RU2012140740A (ru) * 2010-04-01 2014-05-10 Сони Корпорейшн Устройство и способ обработки изображения
US9197893B2 (en) * 2010-04-26 2015-11-24 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
US8849052B2 (en) * 2010-06-04 2014-09-30 Sony Corporation Image processing apparatus and method
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
MY174497A (en) * 2011-12-19 2020-04-23 Sony Corp Image processing device and method
CN106744780B (zh) 2017-03-22 2019-06-28 广东光华科技股份有限公司 一种高压实锂离子电池正极材料磷酸铁锂的制备方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Minhua Zhou, et al. Non-CE04: Carriage of large block size quantization matrices with up-sampling. JCTVC-G094. 2011.11.09.*
Ximin Zhang, et al. Method and syntax for quantization matrices representation. JCTVC-G152. 2011.11.08.

Also Published As

Publication number Publication date
TW201703523A (zh) 2017-01-16
MX2022016363A (es) 2023-04-04
MX2020004342A (es) 2020-08-06
US9635354B2 (en) 2017-04-25
CN108924564A (zh) 2018-11-30
TWI559742B (zh) 2016-11-21
KR20200023500A (ko) 2020-03-04
TWI577174B (zh) 2017-04-01
US20140321539A1 (en) 2014-10-30
CN104469376A (zh) 2015-03-25
SG10201407305TA (en) 2014-12-30
JP6296179B2 (ja) 2018-03-20
JP6296180B2 (ja) 2018-03-20
TW201332373A (zh) 2013-08-01
JP5967235B2 (ja) 2016-08-10
AU2012355057A1 (en) 2014-07-10
AU2012355057B2 (en) 2016-08-18
CA2856348C (en) 2021-06-08
JP2016131381A (ja) 2016-07-21
US20210211670A1 (en) 2021-07-08
PH12016502471B1 (en) 2017-04-17
CA2856348A1 (en) 2013-06-27
US20200112723A1 (en) 2020-04-09
CN108924566B (zh) 2022-06-28
US10136135B2 (en) 2018-11-20
CN108924565A (zh) 2018-11-30
TWI577175B (zh) 2017-04-01
WO2013094385A1 (ja) 2013-06-27
KR20200023501A (ko) 2020-03-04
JP2016129422A (ja) 2016-07-14
MX2014007054A (es) 2014-08-01
JP2017085641A (ja) 2017-05-18
EP2797322A1 (en) 2014-10-29
US20240205405A1 (en) 2024-06-20
TW201545538A (zh) 2015-12-01
CN108924563B (zh) 2022-11-15
CN103988508B (zh) 2018-10-12
AU2016203936B2 (en) 2017-05-18
TWI620433B (zh) 2018-04-01
KR20140109875A (ko) 2014-09-16
SG11201402920TA (en) 2014-11-27
AU2017203441B2 (en) 2018-08-02
AU2017203441A1 (en) 2017-06-08
KR20200023498A (ko) 2020-03-04
US20170353726A1 (en) 2017-12-07
MY194502A (en) 2022-11-30
JP2015100135A (ja) 2015-05-28
AR089223A1 (es) 2014-08-06
AU2012355057A2 (en) 2014-07-24
AU2016203936A1 (en) 2016-07-07
TWI519138B (zh) 2016-01-21
MY174497A (en) 2020-04-23
HK1258600A1 (zh) 2019-11-15
US9781422B2 (en) 2017-10-03
US11758139B2 (en) 2023-09-12
JP5904212B2 (ja) 2016-04-13
CN108924565B (zh) 2022-04-29
JP6075483B2 (ja) 2017-02-08
PH12014501332B1 (en) 2014-09-15
CN103988508A (zh) 2014-08-13
KR20200023499A (ko) 2020-03-04
US20190028708A1 (en) 2019-01-24
CN108924564B (zh) 2022-12-16
KR20200023497A (ko) 2020-03-04
TW201707451A (zh) 2017-02-16
US10560697B2 (en) 2020-02-11
CN108924566A (zh) 2018-11-30
EP2797322A4 (en) 2015-07-22
CN108924563A (zh) 2018-11-30
PH12014501332A1 (en) 2014-09-15
PH12016502471A1 (en) 2017-04-17
CN104469376B (zh) 2018-05-15
JPWO2013094385A1 (ja) 2015-04-27
JP2017085642A (ja) 2017-05-18
MX346765B (es) 2017-03-31
US20170155904A1 (en) 2017-06-01
JP6075482B2 (ja) 2017-02-08
TW201720156A (zh) 2017-06-01

Similar Documents

Publication Publication Date Title
US11758139B2 (en) Image processing device and method
KR102090344B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant